JP6462160B2 - 拡張デジタル画像のキャプチャ及び拡張デジタル画像との双方向作用のためのデバイス及び方法 - Google Patents

拡張デジタル画像のキャプチャ及び拡張デジタル画像との双方向作用のためのデバイス及び方法 Download PDF

Info

Publication number
JP6462160B2
JP6462160B2 JP2017561375A JP2017561375A JP6462160B2 JP 6462160 B2 JP6462160 B2 JP 6462160B2 JP 2017561375 A JP2017561375 A JP 2017561375A JP 2017561375 A JP2017561375 A JP 2017561375A JP 6462160 B2 JP6462160 B2 JP 6462160B2
Authority
JP
Japan
Prior art keywords
image
area
display
sequence
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017561375A
Other languages
English (en)
Other versions
JP2018515860A (ja
Inventor
エンリケ, ディー. ペーニャ,
エンリケ, ディー. ペーニャ,
チャールズ, エー. メザック,
チャールズ, エー. メザック,
べキッシュ ジェイ. マンザリ,
べキッシュ ジェイ. マンザリ,
パウロ, エム. ロペス,
パウロ, エム. ロペス,
グラハム, アール. クラーク,
グラハム, アール. クラーク,
パーベル ピヴォンカ,
パーベル ピヴォンカ,
セバスティアン, ジェイ. バウアー,
セバスティアン, ジェイ. バウアー,
イムラン, エー. チョウドリ,
イムラン, エー. チョウドリ,
アラン, シー. ダイ,
アラン, シー. ダイ,
クレイグ, エム. フェデリギ,
クレイグ, エム. フェデリギ,
アウレリオ グズマン,
アウレリオ グズマン,
ジョナサン イヴ,
ジョナサン イヴ,
ニコラス, ヴィー. キング,
ニコラス, ヴィー. キング,
ジャスティン, エス. ティティ,
ジャスティン, エス. ティティ,
クリストファー, アイ. ウィルソン,
クリストファー, アイ. ウィルソン,
エリオット, ビー. ハリス,
エリオット, ビー. ハリス,
エミリエ キム,
エミリエ キム,
ブレンダン, ジェイ. ランゴウァント,
ブレンダン, ジェイ. ランゴウァント,
ブリット, エス. ミウラ,
ブリット, エス. ミウラ,
ダニエル, イー. ゴベラルバルカヴァ,
ダニエル, イー. ゴベラルバルカヴァ,
クリストファー, ピー. フォス,
クリストファー, ピー. フォス,
ケネス, エル. コシエンダ,
ケネス, エル. コシエンダ,
ダニエル, ティー. プレストン,
ダニエル, ティー. プレストン,
グレゴリー, エム. アポダカ,
グレゴリー, エム. アポダカ,
シモン ボヴェ,
シモン ボヴェ,
ミカエル, ティー. ジュレウィッツ,
ミカエル, ティー. ジュレウィッツ,
ベサニー, ビー. コノリー,
ベサニー, ビー. コノリー,
ナタリア, シー. マリック,
ナタリア, シー. マリック,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2018515860A publication Critical patent/JP2018515860A/ja
Application granted granted Critical
Publication of JP6462160B2 publication Critical patent/JP6462160B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2125Display of information relating to the still picture recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • H04N1/2141Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer
    • H04N1/2145Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer of a sequence of images for selection of a single frame before final recording, e.g. from a continuous sequence captured before and after shutter-release
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Cameras In General (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Telephone Function (AREA)
  • Facsimiles In General (AREA)

Description

本出願は、全般的には、タッチ感知面を備える電子デバイスに関する。タッチ感知面を備える電子デバイスとしては、カメラで撮影又は録音されたデジタルコンテンツをキャプチャ、表示及び/又は他の方法で操作するタッチ感知面を備えた電子デバイスが挙げられるが、これに限定されない。
近年、デジタルコンテンツをキャプチャ、閲覧、編集及び共有するために電子デバイスを使用することが著しく増えてきた。ユーザは、頻繁に、自身のポータブル電子デバイス(例えば、スマートフォン、タブレット及び専用のデジタルカメラ)でデジタルコンテンツ(例えば、画像及び/又は動画)を記録し、画像管理アプリケーション(例えば、Apple Inc.(Cupertino,California)のPhotos)及び/又はデジタルコンテンツ管理アプリケーション(例えば、Apple Inc.(Cupertino,California)のiTunes)でデジタルコンテンツを閲覧及び編集し、インスタントメッセージ、電子メール、ソーシャルメディアアプリケーション及び他の通信アプリケーションを通してデジタルコンテンツを他者と共有する。
ポータブル電子デバイスは、一般的に、静止画像及び動画の2つのタイプのデジタルコンテンツをキャプチャする。静止画像は、一般的に、単純にシャッターボタンを押圧することによってキャプチャされる。静止画像は、ある一瞬をぶれることなく写すが、その一瞬前後の瞬間の詳細は失われる。動画は、長時間記録するが、興味深い瞬間とさして興味深くない瞬間との両方を含み得る。一般的に、興味深さを欠く瞬間を取り除くのに、かなりの編集を要する。
したがって、カメラで撮影又は録音された瞬間のキャプチャ及び瞬間との双方向作用のための方法及びインタフェースを改良した電子デバイスが求められている。このような方法及びインタフェースは任意選択的に、静止画像及び動画のキャプチャ及び静止画像及び動画との双方向作用のための従来の方法を補完するか、又はそれらに取って代わる。
本開示のデバイスは、瞬間のキャプチャ及び瞬間との双方向作用のための新しい改善された方法を提供することによって、写真撮影を静止画像以上に発展させる。一部の実施形態では、本デバイスは、デスクトップコンピュータである。一部の実施形態では、本デバイスは、ポータブル(例えば、ノートブックコンピュータ、タブレットコンピュータ又はハンドヘルドデバイス)である。一部の実施形態では、本デバイスは、パーソナル電子デバイス(例えば、腕時計などの装着型電子デバイス)である。一部の実施形態では、本デバイスは、タッチパッドを有する。一部の実施形態では、本デバイスは、タッチ感知ディスプレイ(「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる)を有する。一部の実施形態では、本デバイスは、グラフィックユーザインタフェース(GUI)と、1つ以上のプロセッサと、メモリと、複数の機能を実行するためにメモリに記憶された1つ以上のモジュール、プログラム又は命令セットと、を有する。一部の実施形態では、ユーザは主にタッチ感知面上でのスタイラス及び/又は指の接触並びにジェスチャを介してGUIと対話する。一部の実施形態では、機能は、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、テレビ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、要約筆記、及び/又はデジタルビデオの再生を任意選択的に含む。これらの機能を実行するための実行可能命令は、非一時的コンピュータ可読記憶媒体又は1つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に、任意選択的に、含まれる。
一部の実施形態によれば、方法は、ディスプレイ及びカメラを備えた電子デバイスにおいて実行される。本方法は、カメラのための第1のメディア取得モードにある間に、ディスプレイ上にライブプレビューを表示することを含む。本方法は、ライブプレビューを表示する間に、第1の時間におけるシャッターボタンのアクティブ化を検出することと、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて、第1の時間におけるシャッターボタンのアクティブ化の時間的近傍でカメラが取得した複数の画像を第1の画像シーケンスへグループ化することと、を更に含む。第1の画像シーケンスは、第1の時間におけるシャッターボタンのアクティブ化を検出する前にカメラが取得した複数の画像と、第1の画像シーケンスを代表し、かつ第1の画像シーケンスにおける他の画像のうちの1つ以上の後にカメラが取得した、代表画像と、代表画像を取得した後にカメラが取得した複数の画像と、を含む。
一部の実施形態によれば、方法は、ディスプレイ及びタッチ感知面を備えた電子デバイスにおいて実行される。本方法は、ディスプレイ上に代表画像を表示することを含む。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスはまた、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。本方法は、ディスプレイ上に代表画像を表示する間に、第1の入力の第1の部分を検出することと、第1の入力の第1の部分を検出したことに応じて、代表画像の表示を、代表画像を取得した後にカメラが取得した1つ以上の画像の順番での表示と置き換えることと、を含む。本方法は、第1の入力の第1の部分を検出した後に、第1の入力の第2の部分を検出することと、第1の入力の第2の部分を検出したことに応じて、代表画像を取得する前にカメラが取得した1つ以上の画像と、代表画像と、代表画像を取得した後にカメラが取得した1つ以上の画像と、を順番に表示することと、を更に含む。
一部の実施形態によれば、方法は、ディスプレイ及びタッチ感知面を備えた電子デバイスにおいて実行される。本方法は、ディスプレイ上に代表画像を表示することを含む。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。本方法は、ディスプレイ上に代表画像を表示する間に、第1の入力の第1の部分を検出することを更に含む。本方法は、第1の入力の第1の部分を検出したことに応じて、代表画像を表示することから画像シーケンスにおけるそれぞれの前の画像を表示することへ移行することであって、それぞれの前の画像が、代表画像を取得する前にカメラによって取得される、ことを更に含む。本方法は、第1の入力の第1の部分を検出したことに応じて、代表画像を表示することからそれぞれの前の画像を表示することへ移行した後に、それぞれの前の画像から開始して順番に、代表画像を取得する前にカメラが取得した1つ以上の画像のうちの少なくとも一部と、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部と、を表示することを更に含む。
一部の実施形態によれば、ディスプレイ、タッチ感知面及びタッチ感知面との接触の強度を検出するための1つ以上のセンサを備えた電子デバイスにおいて、方法が実行される。本方法は、ディスプレイ上に代表画像を表示することを含む。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。本方法は、ディスプレイ上に代表画像を表示する間に、タッチ感知面上への接触の特性強度が第1の強度閾値よりも大きい第1の強度まで増加したことを検出することを含む、第1の入力を検出することを更に含む。本方法は、接触の特性強度が増加したことを検出したことに応じて、代表画像を取得した後にカメラが取得した1つ以上の画像間を第1の方向に第1の強度に少なくとも部分的に基づいて決定されたレートで進むことを更に含む。本方法は、代表画像を取得した後にカメラが取得した1つ以上の画像間を第1の強度に基づいて決定されたレートで進んだ後、接触の強度が第1の強度未満である第2の強度まで減少したことを検出することを更に含む。本方法は、接触の特性強度が第2の強度まで減少したことを検出したことに応じて、第2の強度が第1の強度閾値を上回っているという判定に従って、代表画像を取得した後にカメラが取得した1つ以上の画像間を第1の方向に第2のレートで進み続けることを更に含む。第2のレートは、第2の強度に少なくとも部分的に基づいて決定され、第2のレートは、第1のレートよりも遅い。本方法は、接触の特性強度が第2の強度まで減少したことを検出したことに応じて、第2の強度が第1の強度閾値を下回っているという判定に従って、代表画像を取得した後にカメラが取得した1つ以上の画像間を、第1の方向とは反対の第2の方向に、第2の強度に少なくとも部分的に基づいて決定されたレートで移動することを更に含む。
一部の実施形態によれば、方法は、ディスプレイ及びタッチ感知面を備えた電子デバイスにおいて実行される。本方法は、複数の画像シーケンスを記憶することを含む。それぞれの画像シーケンスは、カメラが撮ったそれぞれの代表画像と、それぞれの代表画像を取得した後にカメラが取得した1つ以上の画像と、それぞれの代表画像を取得する前にカメラが取得した1つ以上の画像と、を含む。本方法は、第1の画像シーケンスのための第1の代表画像をディスプレイ上の移動可能な第1のエリアに表示することを更に含む。本方法は、タッチ感知面上でドラッグジェスチャを検出することを更に含む。本方法は、ドラッグジェスチャがタッチ感知面上において第1の方向であるという判定に従って、移動可能な第1のエリアにおいて、第1の画像シーケンスのための第1の代表画像の表示を、第1の画像シーケンスのための第1の代表画像を取得した後にカメラが取得した第1の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の時系列表示と置き換えることを更に含む。本方法は、第1のエリアを第1の方向に移動することを更に含む。
一部の実施形態によれば、方法は、ディスプレイ及びタッチ感知面を備えた電子デバイスにおいて実行される。本方法は、複数の画像シーケンスを記憶することを含む。それぞれの画像シーケンスは、カメラが撮ったそれぞれの代表画像と、それぞれの代表画像を取得する前にカメラが取得した1つ以上の画像と、を含む。本方法は、第1の画像シーケンスのための第1の代表画像をディスプレイ上の移動可能な第1のエリアに表示することを更に含む。本方法は、タッチ感知面上でジェスチャを検出することであって、ジェスチャが、ディスプレイ上での第1の方向への移動に対応する接触による移動を含む、ことを更に含む。本方法は、タッチ感知面上でジェスチャを検出したことに応じて、第1のエリアをディスプレイ上で第1の方向に移動することと、移動可能な第2のエリアをディスプレイ上で第1の方向に移動することと、シーケンス表示基準が満たされているという判定に従って、第2のエリアを第1の方向に移動する間に、第2の画像シーケンスのための第2の代表画像を取得する前にカメラが取得した第2の画像シーケンスのための1つ以上の画像のうちの少なくとも一部を、第2のエリアにおいて時系列で表示することと、を更に含む。
一部の実施形態によれば、方法は、ディスプレイ及びタッチ感知面を備えた電子デバイスにおいて実行される。本方法は、複数の画像シーケンスを記憶することを含む。それぞれの画像シーケンスは、カメラが撮ったそれぞれの代表画像と、それぞれの代表画像を取得した後にカメラが取得した1つ以上の画像と、それぞれの代表画像を取得する前にカメラが取得した1つ以上の画像と、を含む。本方法は、複数の画像シーケンスにおける画像とは異なる複数の画像を記憶することを更に含む。複数の画像におけるそれぞれの画像は、複数の画像シーケンスにおける画像シーケンスの一部ではない。本方法は、第1の画像をディスプレイ上に表示することと、第1の画像をディスプレイ上に表示する間に、第1の入力を検出することと、を更に含む。本方法は、第1の入力を検出したことに応じて、第1の画像が第1の画像シーケンスにおける画像であるという判定に従って、第1の画像に加えて第1の画像シーケンスにおける画像のうちの少なくとも一部を表示することを含む第1の動作を行うことと、を更に含む。本方法は、第1の画像が、複数の画像シーケンスにおける画像とは異なる複数の画像における画像であるという判定に従って、第1の画像を含め、第1の動作とは異なる第2の動作を行うことを更に含む。
一部の実施形態によれば、方法は、ディスプレイ及びタッチ感知面を備えた電子デバイスにおいて実行される。本方法は、ディスプレイ上に代表画像を表示することを含む。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。本方法は、ディスプレイ上に代表画像を表示する間に、代表画像を修正する入力を検出することを更に含む。本方法は、代表画像を修正する入力を検出したことに応じて、デバイスが第1の編集モードにあるという判定に従って、代表画像、代表画像を取得した後にカメラが取得した1つ以上の画像及び代表画像を取得する前にカメラが取得した1つ以上の画像を修正することと、デバイスが第1の編集モードとは異なる第2の編集モードにあるという判定に従って、代表画像を取得した後にカメラが取得した1つ以上の画像を修正せず、かつ代表画像を取得する前にカメラが取得した1つ以上の画像を修正せずに、代表画像を修正することと、を更に含む。
一部の実施形態によれば、ディスプレイを備えた第1の電子デバイスにおいて、方法が実行される。本方法は、ディスプレイ上で、他の電子デバイスと通信するように構成されたアプリケーションのユーザインタフェースに代表画像を表示することを含む。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。本方法は、代表画像をディスプレイ上に表示する間に、アプリケーションを使用して、第1の電子デバイスから遠隔の第2の電子デバイスへと、代表画像を送信する要求又は送信するための代表画像を選択する要求に対応する入力を検出することを更に含む。本方法は、第2の電子デバイスへと、代表画像を送信する要求又は送信するための代表画像を選択する要求に対応する入力を検出したことに応じて、第2の電子デバイスが画像シーケンスとグループとして双方向作用するように構成されているという判定に従って、画像シーケンスのうちの少なくとも一部を第2の電子デバイスに送信するための第1の1組の任意選択を表示することと、第2の電子デバイスが画像シーケンスとグループとして双方向作用するように構成されていないという判定に従って、画像シーケンスのうちの少なくとも一部を第2の電子デバイスに送信するための第2の1組の任意選択を表示することであって、第2の1組の任意選択が、第1の1組の任意選択とは異なる、ことと、を更に含む。
一部の実施形態によれば、方法は、ディスプレイ及びカメラを備えた電子デバイスにおいて実行される。本方法は、カメラのための第1のメディア取得モードにある間に、ディスプレイ上にシーンのライブプレビューを表示することと、シーンに対してシーン認識を行うことと、を含む。本方法は、シーンのライブプレビューを表示する間に、第1の時間におけるシャッターボタンの単一のアクティブ化を検出することを更に含む。本方法は、第1の時間におけるシャッターボタンの単一のアクティブ化を検出したことに応じて、シーンに対して行われたシーン認識に少なくとも部分的に基づく、シーンがアクションキャプチャ基準を満たすという判定に従って、第1の時間におけるシャッターボタンのアクティブ化の時間的近傍で、カメラが取得した複数の画像を保持することと、複数の画像を第1の画像シーケンスへグループ化することと、を更に含む。第1の画像シーケンスは、第1の時間におけるシャッターボタンのアクティブ化を検出する前にカメラが取得した複数の画像と、第1の画像シーケンスを代表し、かつ第1の画像シーケンスにおける他の画像のうちの1つ以上の後にカメラが取得した、代表画像と、代表画像を取得した後にカメラが取得した複数の画像と、を含む。本方法は、第1の時間におけるシャッターボタンの単一のアクティブ化を検出したことに応じて、シーンがアクションキャプチャ基準を満たしていないという判定に従って、第1の時間におけるシャッターボタンのアクティブ化の時間的近傍にある単一の画像を保持することを更に含む。
一部の実施形態によれば、方法は、ディスプレイ及びタッチ感知面を備えた電子デバイスにおいて実行される。本方法は、ディスプレイ上に画像を表示することを含む。画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を含む。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。本方法は、画像シーケンスにおける画像をディスプレイ上に表示する間に、第1の入力を検出することを更に含む。本方法は、第1の入力を検出したことに応じて、画像シーケンスを画像シーケンスのすべて未満のサブセットへトリミングするためのユーザインタフェースを表示することを更に含む。ユーザインタフェースは、画像シーケンスにおける画像の表現を含むエリアと、画像シーケンスにおける画像の表現を含むエリアにおけるトリミング開始アイコンの位置を介して、画像シーケンスのサブセットにおける開始画像を定めるユーザ調整可能トリミング開始アイコンと、画像シーケンスにおける画像の表現を含むエリアにおけるトリミング終了アイコンの位置を介して、画像シーケンスのサブセットにおける終了画像を定めるユーザ調整可能トリミング終了アイコンと、を含む。トリミング開始アイコンは、画像シーケンスにおける画像の表現を含むエリアにおいて、デバイスが自動的に選択した第1の位置に位置する。トリミング終了アイコンは、画像シーケンスにおける画像の表現を含むエリアにおいて、デバイスが自動的に選択した第2の位置に位置する。本方法は、画像シーケンスをトリミングするためのユーザインタフェースを表示する間に、第2の入力を検出することを更に含む。本方法は、第2の入力を検出したことに応じて、画像シーケンスを、トリミング開始アイコンの現在位置とトリミング終了アイコンの現在位置とに従って、画像シーケンスのサブセットへとトリミングすることを更に含む。
一部の実施形態によれば、電子デバイスは、ライブプレビューを表示するように構成されたディスプレイユニットと、画像を取得するように構成されたカメラユニットと、ディスプレイユニット及びカメラユニットに接続された処理ユニットと、を備える。処理ユニットは、カメラユニットのための第1のメディア取得モードにある間に、ディスプレイユニット上にライブプレビューを表示するように構成される。処理ユニットは、ライブプレビューを表示する間に、第1の時間におけるシャッターボタンのアクティブ化を検出することと、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて、第1の時間におけるシャッターボタンのアクティブ化の時間的近傍でカメラユニットが取得した複数の画像を第1の画像シーケンスへグループ化することと、を行うように更に構成される。第1の画像シーケンスは、第1の時間におけるシャッターボタンのアクティブ化を検出する前にカメラユニットが取得した複数の画像と、第1の画像シーケンスを代表し、かつ第1の画像シーケンスにおける他の画像のうちの1つ以上の後にカメラユニットが取得した、代表画像と、代表画像を取得した後にカメラユニットが取得した複数の画像と、を含む。
一部の実施形態によれば、電子デバイスは、画像を表示するように構成されたディスプレイユニットと、ユーザ入力を検出するように構成されたタッチ感知面ユニットと、ディスプレイユニット及びタッチ感知面ユニットに接続された処理ユニットと、を備える。処理ユニットは、ディスプレイユニット上に代表画像を表示するように構成される。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。処理ユニットは、ディスプレイユニット上に代表画像を表示する間に、第1の入力の第1の部分を検出するように更に構成される。処理ユニットは、第1の入力の第1の部分を検出したことに応じて、代表画像の表示を、ディスプレイユニット上で、代表画像を取得した後にカメラが取得した1つ以上の画像の順番での表示と置き換えるように更に構成される。処理ユニットは、第1の入力の第1の部分を検出した後に、第1の入力の第2の部分を検出することを行うように更に構成される。処理ユニットは、第1の入力の第2の部分を検出したことに応じて、代表画像を取得する前にカメラが取得した1つ以上の画像と、代表画像と、代表画像を取得した後にカメラが取得した1つ以上の画像と、をディスプレイユニット上に順番に表示するように更に構成される。
一部の実施形態によれば、電子デバイスは、画像を表示するように構成されたディスプレイユニットと、ユーザ入力を検出するように構成されたタッチ感知面ユニットと、ディスプレイユニット及びタッチ感知面ユニットに接続された処理ユニットと、を備える。処理ユニットは、ディスプレイユニット上に代表画像を表示可能とするように構成される。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。処理ユニットは、ディスプレイユニット上に代表画像を表示可能とする間に、第1の入力の第1の部分を検出するように更に構成される。処理ユニットは、第1の入力の第1の部分を検出したことに応じて、代表画像を表示することから画像シーケンスにおけるそれぞれの前の画像を表示することへ移行することであって、それぞれの前の画像が、代表画像を取得する前にカメラによって取得される、ことと、代表画像を表示することからそれぞれの前の画像を表示することへ移行した後に、それぞれの前の画像から開始して順番に、代表画像を取得する前にカメラが取得した1つ以上の画像のうちの少なくとも一部と、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部と、を表示可能とすることと、を行うように更に構成される。
一部の実施形態によれば、電子デバイスは、画像を表示するように構成されたディスプレイユニットと、ユーザ入力を検出するように構成されたタッチ感知面ユニットと、タッチ感知面ユニットとの接触の強度を検出するように構成された1つ以上のセンサユニットと、ディスプレイユニット、タッチ感知面ユニット及び1つ以上のセンサユニットに接続された処理ユニットと、を備える。処理ユニットは、ディスプレイユニット上に代表画像を表示可能とするように構成される。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。処理ユニットは、ディスプレイユニット上に代表画像を表示可能とする間に、タッチ感知面ユニット上への接触の特性強度が第1の強度閾値よりも大きい第1の強度まで増加したことを検出することを含む、第1の入力を検出することを行うように更に構成される。処理ユニットは、接触の特性強度が増加したことを検出したことに応じて、代表画像を取得した後にカメラが取得した1つ以上の画像間を第1の方向に第1の強度に少なくとも部分的に基づいて決定されたレートで進むように更に構成される。処理ユニットは、代表画像を取得した後にカメラが取得した1つ以上の画像間を第1の強度に基づいて決定されたレートで進んだ後、接触の強度が第1の強度未満である第2の強度まで減少したことを検出するように更に構成される。処理ユニットは、接触の特性強度が第2の強度まで減少したことを検出したことに応じて、第2の強度が第1の強度閾値を上回っているという判定に従って、代表画像を取得した後にカメラが取得した1つ以上の画像間を第1の方向に第2のレートで進み続けるように更に構成される。第2のレートは、第2の強度に少なくとも部分的に基づいて決定され、第2のレートは、第1のレートよりも遅い。処理ユニットは、接触の特性強度が第2の強度まで減少したことを検出したことに応じて、第2の強度が第1の強度閾値を下回っているという判定に従って、代表画像を取得した後にカメラが取得した1つ以上の画像間を、第1の方向とは反対の第2の方向に、第2の強度に少なくとも部分的に基づいて決定されたレートで移動するように更に構成される。
一部の実施形態によれば、電子デバイスは、画像を表示するように構成されたディスプレイユニットと、ユーザ入力を検出するように構成されたタッチ感知面ユニットと、画像を記憶するように構成されたメモリユニットと、ディスプレイユニット、メモリユニット及びタッチ感知面ユニットに接続された処理ユニットと、を備える。処理ユニットは、複数の画像シーケンスをメモリユニットに記憶するように構成される。それぞれの画像シーケンスは、カメラが撮ったそれぞれの代表画像と、それぞれの代表画像を取得した後にカメラが取得した1つ以上の画像と、それぞれの代表画像を取得する前にカメラが取得した1つ以上の画像と、を含む。処理ユニットは、ディスプレイユニット上で、第1の画像シーケンスのための第1の代表画像をディスプレイユニット上の移動可能な第1のエリアに表示するように更に構成される。処理ユニットは、タッチ感知面ユニット上でドラッグジェスチャを検出するように更に構成される。処理ユニットは、ドラッグジェスチャがタッチ感知面ユニット上において第1の方向であるという判定に従って、移動可能な第1のエリアにおいて、第1の画像シーケンスのための第1の代表画像の表示を、ディスプレイユニット上で、第1の画像シーケンスのための第1の代表画像を取得した後にカメラが取得した第1の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の時系列表示と置き換えることと、第1のエリアをディスプレイユニット上で第1の方向に移動することと、を行うように更に構成される。
一部の実施形態によれば、電子デバイスは、画像を表示するように構成されたディスプレイユニットと、ユーザ入力を検出するように構成されたタッチ感知面ユニットと、ディスプレイユニット及びタッチ感知面ユニットに接続された処理ユニットと、を備える。処理ユニットは、複数の画像シーケンスを記憶するように構成される。それぞれの画像シーケンスは、カメラが撮ったそれぞれの代表画像と、それぞれの代表画像を取得する前にカメラが取得した1つ以上の画像と、を含む。処理ユニットは、ディスプレイユニット上で、第1の画像シーケンスのための第1の代表画像を移動可能な第1のエリアに表示可能とするように更に構成される。処理ユニットは、タッチ感知面ユニット上でジェスチャを検出することであって、ジェスチャが、ディスプレイユニット上での第1の方向への移動に対応する接触による移動を含む、ことを行うように構成される。処理ユニットは、タッチ感知面ユニット上でジェスチャを検出したことに応じて、第1のエリアをディスプレイユニット上で第1の方向に移動することと、移動可能な第2のエリアをディスプレイユニット上で第1の方向に移動することと、シーケンス表示基準が満たされているという判定に従って、第2のエリアを第1の方向に移動する間に、第2の画像シーケンスのための第2の代表画像を取得する前にカメラが取得した第2の画像シーケンスのための1つ以上の画像のうちの少なくとも一部を、第2のエリアにおいて時系列で表示可能とすることと、を行うように構成される。
一部の実施形態によれば、電子デバイスは、画像を表示するように構成されたディスプレイユニットと、ユーザ入力を検出するように構成されたタッチ感知面ユニットと、画像を記憶するように構成されたメモリユニットと、ディスプレイユニット、メモリユニット及びタッチ感知面ユニットに接続された処理ユニットと、を備える。処理ユニットは、複数の画像シーケンスをメモリユニットに記憶するように構成される。それぞれの画像シーケンスは、カメラが撮ったそれぞれの代表画像と、それぞれの代表画像を取得した後にカメラが取得した1つ以上の画像と、それぞれの代表画像を取得する前にカメラが取得した1つ以上の画像と、を含む。処理ユニットは、複数の画像シーケンスにおける画像とは異なる複数の画像をメモリユニットに記憶するように更に構成される。複数の画像におけるそれぞれの画像は、複数の画像シーケンスにおける画像シーケンスの一部ではない。処理ユニットは、ディスプレイユニット上に第1の画像を表示するように更に構成される。処理ユニットは、ディスプレイユニット上に第1の画像を表示する間に、第1の入力を検出するように更に構成される。処理ユニットは、第1の入力を検出したことに応じて、第1の画像が第1の画像シーケンスにおける画像であるという判定に従って、第1の画像に加えて第1の画像シーケンスにおける画像のうちの少なくとも一部をディスプレイユニット上に表示することを含む第1の動作を行うように更に構成される。処理ユニットは、第1の画像が、複数の画像シーケンスにおける画像とは異なる複数の画像における画像であるという判定に従って、第1の画像を含め、第1の動作とは異なる第2の動作を行うように更に構成される。
一部の実施形態によれば、電子デバイスは、画像を表示するように構成されたディスプレイユニットと、ユーザ入力を検出するように構成されたタッチ感知面ユニットと、ディスプレイユニット及びタッチ感知面ユニットに接続された処理ユニットと、を備える。処理ユニットは、ディスプレイユニット上に代表画像を表示可能とするように構成される。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。処理ユニットは、ディスプレイユニット上に代表画像を表示可能とする間に、代表画像を修正する入力を検出するように更に構成される。処理ユニットは、代表画像を修正する入力を検出したことに応じて、デバイスが第1の編集モードにあるという判定に従って、代表画像、代表画像を取得した後にカメラが取得した1つ以上の画像及び代表画像を取得する前にカメラが取得した1つ以上の画像を修正することと、デバイスが第1の編集モードとは異なる第2の編集モードにあるという判定に従って、代表画像を取得した後にカメラが取得した1つ以上の画像を修正せずに、かつ代表画像を取得する前にカメラが取得した1つ以上の画像を修正せずに、代表画像を修正することと、を行うように構成される。
一部の実施形態によれば、電子デバイスは、画像を表示するように構成されたディスプレイユニットと、ディスプレイユニットに接続された処理ユニットと、を備える。処理ユニットは、ディスプレイユニット上で、他の電子デバイスと通信するように構成されたアプリケーションのユーザインタフェースに代表画像を表示可能とするように構成される。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。処理ユニットは、代表画像をディスプレイユニット上に表示可能とする間に、アプリケーションを使用して、電子デバイスから遠隔の第2の電子デバイスへと、代表画像を送信する要求又は送信するための代表画像を選択する要求に対応する入力を検出するように更に構成される。処理ユニットは、第2の電子デバイスへと、代表画像を送信する要求又は送信するための代表画像を選択する要求に対応する入力を検出したことに応じて、第2の電子デバイスがグループとして画像シーケンスと双方向作用するように構成されているという判定に従って、画像シーケンスのうちの少なくとも一部を第2の電子デバイスに送信するための第1の1組の任意選択を表示可能とすることと、第2の電子デバイスがグループとして画像シーケンスと双方向作用するように構成されていないという判定に従って、画像シーケンスのうちの少なくとも一部を第2の電子デバイスに送信するための第2の1組の任意選択を表示可能とすることであって、第2の1組の任意選択が、第1の1組の任意選択とは異なる、ことと、を行うように更に構成される。
一部の実施形態によれば、電子デバイスは、画像を表示するように構成されたディスプレイユニットと、画像を取得するように構成されたカメラユニットと、ディスプレイユニット及びカメラユニットに接続された処理ユニットと、を備える。処理ユニットは、カメラユニットのための第1のメディア取得モードにある間に、ディスプレイユニット上にシーンのライブプレビューを表示可能とすることと、シーンに対してシーン認識を行うことと、を行うように構成される。処理ユニットは、シーンのライブプレビューを表示可能とする間に、第1の時間におけるシャッターボタンの単一のアクティブ化を検出するように更に構成される。処理ユニットは、第1の時間におけるシャッターボタンの単一のアクティブ化を検出したことに応じて、シーンに対して行われたシーン認識に少なくとも部分的に基づく、シーンがアクションキャプチャ基準を満たすという判定に従って、第1の時間におけるシャッターボタンのアクティブ化の時間的近傍で、カメラユニットが取得した複数の画像を保持することと、複数の画像を第1の画像シーケンスへグループ化することと、を行うように更に構成される。第1の画像シーケンスは、第1の時間におけるシャッターボタンのアクティブ化を検出する前にカメラユニットが取得した複数の画像と、第1の画像シーケンスを代表し、かつ第1の画像シーケンスにおける他の画像のうちの1つ以上の後にカメラユニットが取得した、代表画像と、代表画像を取得した後にカメラユニットが取得した複数の画像と、を含む。処理ユニットは、第1の時間におけるシャッターボタンの単一のアクティブ化を検出したことに応じて、シーンがアクションキャプチャ基準を満たしていないという判定に従って、第1の時間におけるシャッターボタンのアクティブ化の時間的近傍にある単一の画像を保持するように更に構成される。
一部の実施形態によれば、電子デバイスは、画像を表示するように構成されたディスプレイユニットと、ユーザ入力を検出するように構成されたタッチ感知面ユニットと、ディスプレイユニット及びカメラユニットに接続された処理ユニットと、を備える。処理ユニットは、ディスプレイユニット上に画像を表示可能とするように構成される。画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を含む。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。処理ユニットは、ディスプレイユニット上に画像シーケンスにおける画像を表示可能とする間に、第1の入力を検出するように更に構成される。処理ユニットは、第1の入力を検出したことに応じて、画像シーケンスを画像シーケンスのすべて未満のサブセットへトリミングするためのユーザインタフェースを表示可能とするように更に構成される。ユーザインタフェースは、画像シーケンスにおける画像の表現を含むエリアと、画像シーケンスにおける画像の表現を含むエリアにおけるトリミング開始アイコンの位置を介して、画像シーケンスのサブセットにおける開始画像を定めるユーザ調整可能トリミング開始アイコンと、画像シーケンスにおける画像の表現を含むエリアにおけるトリミング終了アイコンの位置を介して、画像シーケンスのサブセットにおける終了画像を定めるユーザ調整可能トリミング終了アイコンと、を含む。トリミング開始アイコンは、画像シーケンスにおける画像の表現を含むエリアにおいて、デバイスが自動的に選択した第1の位置に位置する。トリミング終了アイコンは、画像シーケンスにおける画像の表現を含むエリアにおいて、デバイスが自動的に選択した第2の位置に位置する。処理ユニットは、画像シーケンスをトリミングするためのユーザインタフェースを表示可能とする間に、第2の入力を検出するように更に構成される。処理ユニットは、第2の入力を検出したことに応じて、画像シーケンスを、トリミング開始アイコンの現在位置とトリミング終了アイコンの現在位置とに従って、画像シーケンスのサブセットへとトリミングするように更に構成される。
一部の実施形態によれば、電子デバイスは、ディスプレイと、タッチ感知面と、タッチ感知面との接触の強度を検出するための1つ以上の任意選択のセンサと、1つ以上のプロセッサと、メモリと、1つ以上のプログラムと、を備え、1つ以上のプログラムが、メモリに記憶され、かつ1つ以上のプロセッサによって実行されるように構成され、1つ以上のプログラムが、本明細書で説明する方法のいずれかの動作を行うための命令又は動作を実行させるための命令を含む。一部の実施形態によれば、コンピュータ可読記憶媒体は、その内部に命令を記憶しており、その命令は、ディスプレイ、タッチ感知面及びタッチ感知面との接触の強度を検出するための1つ以上の任意選択のセンサを備える電子デバイスによって実行された場合、そのデバイスに、本明細書で説明する方法のいずれかの動作を行わせる、又は動作を実行させる。一部の実施形態によれば、ディスプレイ、タッチ感知面、タッチ感知面との接触の強度を検出するための1つ以上の任意選択のセンサ、メモリ及びメモリに記憶された1つ以上のプログラムを実行するための1つ以上のプロセッサを備える電子デバイス上のグラフィックユーザインタフェースは、本明細書で説明する方法のいずれかで表示される要素のうちの1つ以上を含み、それらの要素は、本明細書で説明する方法のうちのいずれかで説明されるように、入力に応じて更新される。一部の実施形態によれば、電子デバイスは、ディスプレイ、タッチ感知面及びタッチ感知面との接触の強度を検出するための1つ以上の任意選択のセンサと、本明細書で説明する方法のいずれかの動作を行う、又は動作を実行させるための手段と、を備える。一部の実施形態によれば、ディスプレイ、タッチ感知面及びタッチ感知面との接触の強度を検出するための1つ以上の任意選択のセンサを備える電子デバイスで使用するための情報処理装置は、本明細書で説明する方法のいずれかの動作を行う、又は動作を実行させるための手段を備える。
このようにして、カメラで撮影又は録音された瞬間のキャプチャ及び瞬間との双方向作用のための方法及びインタフェースを改良した電子デバイスが提供される。このような方法及びインタフェースは、静止画像及び動画のキャプチャ並びに静止画像及び動画との双方向作用のための従来の方法を補完するか、又はそれらに取って代わり得る。
説明される様々な実施形態のより良好な理解のために、以下の図面と併せて、以下の「発明を実施するための形態」を参照されたい。図面では、類似の参照番号は、全図面を通じて対応する部分を指す。
一部の実施形態に係る、タッチ感知ディスプレイを備えたポータブル多機能デバイスを示すブロック図である。
一部の実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
一部の実施形態に係る、タッチスクリーンを備えたポータブル多機能デバイスの図である。
一部の実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。
一部の実施形態に係る、ポータブル多機能デバイスにおけるアプリケーションのメニューのための例示的なユーザインタフェースの図である。
一部の実施形態に係る、ディスプレイとは別個のタッチ感知面を備えた多機能デバイスのための例示的なユーザインタフェースの図である。
一部の実施形態に係る、例示的な動的強度閾値を示す図である。 一部の実施形態に係る、例示的な動的強度閾値を示す図である。 一部の実施形態に係る、例示的な動的強度閾値を示す図である。
一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャするための例示的なユーザインタフェースを示す図である。
一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、グループ化された関連画像シーケンスを表示(又は再生)するための例示的なユーザインタフェースを示す図である。
一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートするための例示的なユーザインタフェースを示す図である。
一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う例示的なユーザインタフェースを示す図である。
一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャする方法を示す流れ図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャする方法を示す流れ図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャする方法を示す流れ図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャする方法を示す流れ図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャする方法を示す流れ図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャする方法を示す流れ図である。 一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャする方法を示す流れ図である。
一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法を示す流れ図である。
一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法を示す流れ図である。
一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法を示す流れ図である。
一部の実施形態に係る、関連画像シーケンス間をナビゲートする方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートする方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートする方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートする方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートする方法を示す流れ図である。
一部の実施形態に係る、関連画像シーケンス間をナビゲートする方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートする方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートする方法を示す流れ図である。 一部の実施形態に係る、関連画像シーケンス間をナビゲートする方法を示す流れ図である。
一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う方法を示す流れ図である。 一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う方法を示す流れ図である。
一部の実施形態に係る、電子デバイスの機能ブロック図である。 一部の実施形態に係る、電子デバイスの機能ブロック図である。 一部の実施形態に係る、電子デバイスの機能ブロック図である。 一部の実施形態に係る、電子デバイスの機能ブロック図である。 一部の実施形態に係る、電子デバイスの機能ブロック図である。 一部の実施形態に係る、電子デバイスの機能ブロック図である。 一部の実施形態に係る、電子デバイスの機能ブロック図である。
一部の実施形態に係る、画像シーケンスにおける画像を修正するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正するための例示的なユーザインタフェースを示す図である。
一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信するための例示的なユーザインタフェースを示す図である。
一部の実施形態に係る、シーン認識を使用して写真(例えば、拡張写真又は静止写真)を取得するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、シーン認識を使用して写真(例えば、拡張写真又は静止写真)を取得するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、シーン認識を使用して写真(例えば、拡張写真又は静止写真)を取得するための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、シーン認識を使用して写真(例えば、拡張写真又は静止写真)を取得するための例示的なユーザインタフェースを示す図である。
一部の実施形態に係る、画像シーケンス(例えば、拡張写真)をトリミングするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンス(例えば、拡張写真)をトリミングするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンス(例えば、拡張写真)をトリミングするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンス(例えば、拡張写真)をトリミングするための例示的なユーザインタフェースを示す図である。 一部の実施形態に係る、画像シーケンス(例えば、拡張写真)をトリミングするための例示的なユーザインタフェースを示す図である。
一部の実施形態に係る、画像シーケンスにおける画像を修正する方法の流れ図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正する方法の流れ図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正する方法の流れ図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正する方法の流れ図である。 一部の実施形態に係る、画像シーケンスにおける画像を修正する方法の流れ図である。
一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信する方法の流れ図である。 一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信する方法の流れ図である。 一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信する方法の流れ図である。
一部の実施形態に係る、シーン認識を使用して写真(例えば、拡張写真又は静止写真)を取得する方法の流れ図である。 一部の実施形態に係る、シーン認識を使用して写真(例えば、拡張写真又は静止写真)を取得する方法の流れ図である。 一部の実施形態に係る、シーン認識を使用して写真(例えば、拡張写真又は静止写真)を取得する方法の流れ図である。 一部の実施形態に係る、シーン認識を使用して写真(例えば、拡張写真又は静止写真)を取得する方法の流れ図である。
一部の実施形態に係る、画像シーケンス(例えば、拡張写真)をトリミングする方法の流れ図である。 一部の実施形態に係る、画像シーケンス(例えば、拡張写真)をトリミングする方法の流れ図である。 一部の実施形態に係る、画像シーケンス(例えば、拡張写真)をトリミングする方法の流れ図である。 一部の実施形態に係る、画像シーケンス(例えば、拡張写真)をトリミングする方法の流れ図である。 一部の実施形態に係る、画像シーケンス(例えば、拡張写真)をトリミングする方法の流れ図である。
一部の実施形態に係る、電子デバイスの機能ブロック図である。 一部の実施形態に係る、電子デバイスの機能ブロック図である。 一部の実施形態に係る、電子デバイスの機能ブロック図である。 一部の実施形態に係る、電子デバイスの機能ブロック図である。
上述のように、ポータブル電子デバイスは、一般的に、静止画像及び動画の2つのタイプのデジタルコンテンツをキャプチャする。静止画像は、一般的に、単純にシャッターボタンを押圧することによってキャプチャされる。静止画像は、ある一瞬をぶれることなく写すが、その一瞬前後の瞬間の詳細は失われる。動画は、長時間記録するが、興味深い瞬間とさして興味深くない瞬間との両方を含み得る。一般的に、興味深さを欠く瞬間を取り除くのに、かなりの編集を要する。
ここで、瞬間のキャプチャ及び瞬間との双方向作用のための新しい改良されたデバイス及び方法について説明する。
一部の実施形態では、シャッターボタンの押圧に応じて、デバイスは、代表画像(従来の静止画像でキャプチャされる一瞬に類似のもの)と、シャッターボタンが押圧される前に取得された画像及び代表画像の後に取得された画像と、を含む画像シーケンスをまとめてグループ化する。このようにして、シャッターボタンの押圧により、一瞬だけではなく、その一瞬付近の瞬間がキャプチャされる。一部の実施形態では、音声及びメタデータなどの瞬間に関する追加的な情報もまたキャプチャされる。ユーザから見れば、このプロセスによって、瞬間(代表画像を含むグループ化された画像シーケンス)をキャプチャすることが、一瞬(単一の静止画像)をキャプチャすることと同じくらいに簡単になる。ユーザは、シャッターボタンを押圧するだけでよいのである。単一の静止画像と区別するために、簡潔にするために「拡張写真」の用語を使用して、グループ化された画像シーケンスを指す場合がある。
一部の実施形態では、代表画像を見ている間に、拡張写真が、ユーザ入力(例えば、拡張写真上での長押しジェスチャ又は深い押圧ジェスチャ)に応じて「動き出し」、その瞬間を再生し得る。
一部の実施形態では、拡張写真間をナビゲートする間に、それぞれの拡張写真について、拡張写真がディスプレイ上で視界に入ってくるにつれて、拡張写真の代表画像の直前に撮られた画像が示される、及び/又は拡張写真がディスプレイから去るにつれて、代表画像の直後に撮られた画像が示され、このことにより、瞬間が拡張されて表示される。
一部の実施形態では、拡張写真及び従来の静止画像間をナビゲートする間に、拡張写真は、視界に入る及び/又はディスプレイから去る際に「再生」され、他方、従来の静止画像については、静止画像が表示されている場合、静止画像内の追加的な情報(例えば、位置データ)及び/又はアニメーションが示される。
一部の実施形態では、ユーザは、拡張写真における代表画像を修正し、拡張写真における代表画像だけ又は拡張写真における画像のすべてに修正を適用させることができる(例えば、ユーザは、すべてに適用モードと静止画像編集モードとを切り替えできる)。
一部の実施形態では、それぞれのユーザが拡張写真を別のユーザに送信する場合、それぞれのユーザのデバイスが、他のユーザのデバイスが拡張写真に対応するものであるかどうかに応じて拡張写真を送信するための様々な任意選択を提示する(例えば、他のユーザのデバイスが拡張写真に対応している場合、拡張写真を拡張写真として送信するための任意選択を提示し、他のユーザのデバイスが拡張写真には対応していない場合、代表画像のみを送信するための任意選択を提示する)。
一部の実施形態では、デバイスは、(例えば、画像キャプチャモードにある間に)シーン認識を行う。シーンが拡張写真の保持に役立つ(例えば、シーンが、移動又は顔を含む)場合、シャッターボタンの押圧に応じて、デバイスは、拡張写真を保持する。シーンが拡張写真の保持に役立たない(例えば、シーンが、領収書の写真である)場合、シャッターボタンの押圧に応じて、デバイスは、単一の静止画像を保持する。
一部の実施形態では、ユーザは、画像シーケンスを画像シーケンスのサブセットへとトリミングできる。デバイスは、シーケンスにおける(例えば、シーン認識に基づいて)自動的に選択された位置に、シーケンスをトリミングするためのハンドルを提供する。ハンドルはまた、シーケンスを手動でトリミングするために使用され得る。
以下の図1A〜図1B、図2及び図3は、例示的なデバイスの説明を提供する。図4A〜図4B、図5A〜図5K、図6A〜図6FF、図7A〜図7CC、図8A〜図8L、図20A〜図20L、図21A〜図21J、図22A〜図22D及び図23A〜図23Eは、関連画像シーケンスのキャプチャ、関連画像シーケンスのナビゲート及び関連画像シーケンスに対する動作又は関連画像シーケンスに関連する動作を実行するための例示的なユーザインタフェースを示す。図9A〜図9Gは、一部の実施形態に係る、関連画像シーケンスをキャプチャする方法を示す流れ図である。図10A〜図10Mは、一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法を示す流れ図である。図11A〜図11Iは、一部の実施形態に係る、関連画像シーケンスを含む写真間をナビゲートする方法を示す流れ図である。図12A〜図12Bは、一部の実施形態に係る、静止写真と異なる動作を、関連画像シーケンスを含む写真に対して行う方法を示す流れ図である。図24A〜図24Eは、一部の実施形態に係る、画像シーケンスにおける画像を修正する方法の流れ図である。図25A〜図25Cは、一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信する方法の流れ図である。図26A〜図26Dは、一部の実施形態に係る、シーン認識を使用して写真(例えば、拡張写真又は静止写真)を取得する方法の流れ図である。図27A〜図27Eは、一部の実施形態に係る、画像シーケンス(例えば、拡張写真)をトリミングする方法の流れ図である。図5A〜図5K、図6A〜図6FF、図7A〜図7CC、図8A〜図8L、図20A〜図20L、図21A〜図21J、図22A〜図22D及び図23A〜図23Eにおけるユーザインタフェースは、図9A〜図9G、図10A〜図10M、図11A〜図11I、図12A〜図12B、図24A〜図24E、図25A〜図25C、図26A〜図26D及び図27A〜図27Eにおけるプロセスを示すために使用される。
例示的なデバイス
ここで、添付図面に実施例が示される実施形態を、詳細に参照する。以下の詳細な説明では、説明されている様々な実施形態の完全な理解を提供するために数多くの具体的な詳細が記載されている。しかしながら、説明されている様々な実施形態は、これらの具体的な詳細を伴わずとも実践し得ることが、当業者には明らかであろう。他の例においては、周知の方法、手順、構成要素、回路、及びネットワークは、実施形態の態様を不必要に不明瞭なものとしないよう、詳細には説明されていない。
本明細書では、第1、第2などの用語は、一部の実施例で、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第1の接触は、第2の接触と称することができ、同様に、第2の接触は、第1の接触と称し得る。第1の接触及び第2の接触は両方接触であるが、文脈がそうではないことを明確に示さない限り、それらは同じ接触ではない。
本明細書で説明される様々な実施形態の説明で使用される用語法は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用される時、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。本明細書で使用される時に、用語「及び/又は」が、関連する列挙された項目のうちの1つ以上のあらゆる可能な任意の組み合わせを指し、かつこれを含むことをもまた理解されたい。用語「includes(含む)」、「including(含む)」、「comprises(含む、備える)」及び/又は「comprising(含む、備える)」は、本明細書で使用される時、述べられた特徴、整数、ステップ、動作、要素及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素及び/又はそれらの群、の存在又は追加を除外しないことを更に理解されたい。
本明細書で使用される時、用語「if(〜の場合には)」は、任意選択的に、文脈に応じて「when(〜の時)」、「upon(〜すると)」、「in response to determining(〜という判定に応じて)」、又は「in response to detecting(〜の検出に応じて)」を意味するものと解釈される。同様に、語句「if it is determined(〜と判定される場合には)」又は「if(a stated condition or event)is detected((記述される条件又はイベント)が検出される場合には)」は、任意選択的に、文脈に応じて「upon determining(〜と判定されると)」、又は「in response to determining(〜との判定に応じて)」、又は「upon detecting(the stated condition or event)((記述される条件又はイベント)が検出されると)」、又は「in response to detecting(the stated condition or event)((記述される条件又はイベント)の検出に応じて)」を意味するものと解釈される。
電子デバイス、このようなデバイス用のユーザインタフェース、及びこのようなデバイスを使用するための関連処理、の実施形態を説明する。一部の実施形態では、本デバイスは、PDA機能及び/又は音楽再生機能などの、他の機能も含む、モバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、限定するものではないが、Apple Inc.(Cupertino,California)のiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)デバイスが挙げられる。タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を備えたラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスも、任意選択的に、使用される。また、一部の実施形態では、本デバイスはポータブル通信デバイスではなく、タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を備えるデスクトップコンピュータであることを理解されたい。
以下の説明では、ディスプレイ及びタッチ感知面を備える電子デバイスについて説明する。しかし、この電子デバイスは、物理キーボード、マウス、及び/又はジョイスティックなどの1つ以上の他の物理ユーザインタフェースデバイスを任意選択的に含むことを理解されたい。
本デバイスは、一般的に、要約筆記アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽再生アプリケーション及び/又はデジタルビデオ再生アプリケーションのうちの1つ以上などの様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも1つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の1つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び/又は対応するアプリケーション内で、任意選択的に、調節及び/又は変更される。このように、デバイスの共通の(タッチ感知面などの)物理アーキテクチャは、ユーザにとって直観的かつ透過的なユーザインタフェースを有する様々なアプリケーションを、任意選択的にサポートする。
次に、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図1Aは、一部の実施形態に係る、タッチ感知ディスプレイシステム112を備えたポータブル多機能デバイス100を示すブロック図である。タッチ感知ディスプレイシステム112は、便宜上「タッチスクリーン」と呼ばれる場合があり、単にタッチ感知ディスプレイと呼ばれる場合もある。デバイス100は、メモリ102(任意選択的に、1つ以上のコンピュータ可読記憶媒体を含む)と、メモリコントローラ122と、1つ以上の処理ユニット(CPU)120と、周辺機器インタフェース118と、RF回路108と、オーディオ回路110と、スピーカ111と、マイクロフォン113と、入出力(I/O)サブシステム106と、その他の入力又は制御デバイス116と、外部ポート124と、を備える。デバイス100は、1つ以上の光センサ164を任意選択的に含む。デバイス100は、デバイス100(例えば、デバイス100のタッチ感知ディスプレイシステム112などのタッチ感知面)上の接触の強度を検出するための、1つ以上の強度センサ165を任意選択的に含む。デバイス100は、デバイス100上に触知出力を生成する(例えば、デバイス100のタッチ感知ディスプレイシステム112又はデバイス300のタッチパッド355などの、タッチ感知面上に触知出力を生成する)ための、1つ以上の触知出力生成器167を任意選択的に含む。これらの構成要素は、1つ以上の通信バス又は信号ライン103を介して任意選択的に通信する。
本明細書及び特許請求の範囲で使用される時、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素(例えば、タッチ感知面)の、デバイスの別の構成要素(例えば、筐体)に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、ユーザの手の指、手のひら、又は他の部分)に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の認識された変化に相当する触感として、ユーザによって解釈される。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はトラックパッド)の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として任意選択的に解釈される。一部のケースでは、ユーザの動作により物理的に押された(例えば、変位された)タッチ感知面に関連付けられた物理アクチュエータボタンの移動がない時でさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じるであろう。別の実施例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるものではあるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知(例えば、「アップクリック」「ダウンクリック」、「粗さ」)に相当するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な(又は、平均的な)ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に相当する。
デバイス100は、ポータブル多機能デバイスの一実施例に過ぎず、デバイス100は、示されているものよりも多くの構成要素又は少ない構成要素を任意選択的に有し、2つ以上の構成要素を任意選択的に組み合わせるか、又は、それらの構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図1Aに示される様々な構成要素は、1つ以上の信号処理回路、及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせで実装される。
メモリ102は任意選択的に高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの、不揮発性メモリも含む。CPU(単数又は複数)120及び周辺機器インタフェース118などの、デバイス100の他の構成要素によるメモリ102へのアクセスは、メモリコントローラ122により任意選択的に制御される。
周辺機器インタフェース118を使用して、このデバイスの入力及び出力周辺機器を、CPU(単数又は複数)120及びメモリ102に接続することができる。1つ以上のプロセッサ120は、デバイス100のための様々な機能を実行するため並びにデータ処理を実行するために、メモリ102に記憶された様々なソフトウェアプログラム及び/若しくは命令セットを動作させたり、又は実行したりする。
一部の実施形態では、周辺機器インタフェース118、CPU(単数又は複数)120、及びメモリコントローラ122は、任意選択的に、チップ104などの単一チップ上に実装される。一部の他の実施形態において、これらは、任意選択的に、個別のチップ上に実装される。
RF(無線周波数)回路108は、電磁信号とも呼ばれるRF信号を送受信する。RF回路108は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路108は、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(SIM)カード、メモリなどを含むがこれらに限定されない、これらの機能を実行するための周知の回路を、任意選択的に含んでいる。RF回路108は、ワールドワイドウェブ(WWW)とも呼ばれるインターネット、イントラネット、及び/又は、セルラ電話ネットワーク、無線ローカルエリアネットワーク(LAN)などの無線ネットワーク、及び/又は、メトロポリタンエリアネットワーク(MAN)、などのネットワーク、及び他のデバイス、と無線通信によって、任意選択的に通信する。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを、任意選択的に使用し、それらの通信規格、通信プロトコル、及び通信技術としては、移動通信用のグローバルシステム(GSM)、拡張データGSM環境(EDGE)、高速ダウンリンクパケット接続(HSDPA)、高速アップリンクパケット接続(HSUPA)、Evolution,Data−Only(EV−DO)、HSPA、HSPA+、2重セルHSPA(DC−HSPDA)、ロングタームエボリューション(LTE)、近距離無線通信(NFC)、広帯域符号分割多元接続(W−CDMA)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、Bluetooth(登録商標)、Wireless Fidelity(Wi−Fi)(登録商標)(例えば、IEEE 802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g、及び/又はIEEE 802.11n)、ボイスオーバーインターネットプロトコル(VoIP)、Wi−MAX、電子メール用のプロトコル(例えば、インターネットメッセージアクセスプロトコル(IMAP)及び/又はポストオフィスプロトコル(POP))、インスタントメッセージング(例えば、拡張可能メッセージング及びプレゼンスプロトコル(XMPP)、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル(SIMPLE)、インスタントメッセージング及びプレゼンスサービス(IMPS))、及び/又はショートメッセージサービス(SMS)、あるいは本文書の出願日現在までに未だ開発されていない通信プロトコルを含めた任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。
オーディオ回路110、スピーカ111、及びマイクロフォン113は、ユーザとデバイス100との間の音声インタフェースを提供する。オーディオ回路110は、周辺機器インタフェース118から音声データを受信し、この音声データを電気信号に変換し、この電気信号をスピーカ111に送信する。スピーカ111は、電気信号を人間の可聴音波に変換する。オーディオ回路110はまた、マイクロフォン113により音波から変換された電気信号も受信する。オーディオ回路110は、電気信号を音声データに変換し、この音声データを処理のために周辺機器インタフェース118に送信する。音声データは、周辺機器インタフェース118によって任意選択的に、メモリ102及び/若しくはRF回路108から取り込まれ、並びに/又はメモリ102及び/若しくはRF回路108へ送信される。一部の実施形態では、オーディオ回路110はまた、ヘッドセットジャック(例えば、図2の212)を備える。ヘッドセットジャックは、オーディオ回路110と、出力専用ヘッドホン又は出力(例えば、片耳又は両耳用のヘッドホン)及び入力(例えば、マイクロフォン)の両方を有するヘッドセットなどの、取り外し可能なオーディオ入出力周辺機器と、の間のインタフェースを提供する。
I/Oサブシステム106は、タッチ感知ディスプレイシステム112及び他の入力又は制御デバイス116などの、デバイス100上の入出力周辺機器を周辺機器インタフェース118に接続する。I/Oサブシステム106は、任意選択的に、ディスプレイコントローラ156、光センサコントローラ158、強度センサコントローラ159、触覚フィードバックコントローラ161、及び他の入力若しくは制御デバイスのための1つ以上の入力コントローラ160を含む。1つ以上の入力コントローラ160は、他の入力又は制御デバイス116から電気信号を受信し、他の入力又は制御デバイス116へ電気信号を送信する。他の入力又は制御デバイス116は、任意選択的に、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。一部の代替的実施形態では、入力コントローラ(単数又は複数)160は、キーボード、赤外線ポート、USBポート、スタイラス、及び/又はマウスなどのポインタデバイスのうちのいずれかに、任意選択的に接続される(又は、いずれにも接続されない)。1つ以上のボタン(例えば、図2の208)は、スピーカ111及び/又はマイクロフォン113の音量調節のためのアップ/ダウンボタンを、任意選択的に含む。1つ以上のボタンは、プッシュボタン(例えば、図2の206)を、任意選択的に含む。
タッチ感知ディスプレイシステム112は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ156は、タッチ感知ディスプレイシステム112から電気信号を受信する、及び/又はタッチ感知ディスプレイシステム112へ電気信号を送信する。タッチ感知ディスプレイシステム112は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、動画、及びこれらの任意の組み合わせ(総称して「グラフィック」と称する)を、任意選択的に含む。一部の実施形態では、視覚出力の一部又はすべては、ユーザインタフェースオブジェクトに相当する。本明細書で使用される時、用語「アフォーダンス」は、ユーザ対話式グラフィックユーザインタフェースオブジェクト(例えば、グラフィックユーザインタフェースオブジェクトに向けられた入力に応答するように構成されたグラフィックユーザインタフェースオブジェクト)を指す。ユーザ対話式グラフィックユーザインタフェースオブジェクトの例としては、限定するものではないが、ボタン、スライダ、アイコン、選択可能なメニュー項目、スイッチ又は他のユーザインタフェース制御が挙げられる。
タッチ感知ディスプレイシステム112は、触覚及び/又は触知の接触に基づくユーザからの入力を受けるタッチ感知面、センサ又はセンサのセットを有する。タッチ感知ディスプレイシステム112及びディスプレイコントローラ156(メモリ102内の任意の関連モジュール及び/又は命令セットと共に)は、タッチ感知ディスプレイシステム112上で接触(及び任意の移動又は接触の中断)を検出し、検出された接触をタッチ感知ディスプレイシステム112上に表示されたユーザインタフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)との双方向作用に変換する。ある例示的な実施形態では、タッチ感知ディスプレイシステム112とユーザとの間の接触点は、ユーザの指又はスタイラスに相当する。
タッチ感知ディスプレイシステム112は、任意選択的に、LCD(液晶ディスプレイ)技術、LPD(発光ポリマーディスプレイ)技術、又はLED(発光ダイオード)技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチ感知ディスプレイシステム112及びディスプレイコントローラ156は、静電容量技術、抵抗性技術、赤外線技術、及び表面超音波技術、並びに、タッチ感知ディスプレイシステム112との1つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在公知の若しくは後日に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びなんらかの移動又はその中断を、任意選択的に検出する。ある例示的な実施形態ではApple Inc.(Cupertino,California)からのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)などにおいて見られるような、投影された相互キャパシタンス検知技術が使用されている。
タッチ感知ディスプレイシステム112は、任意選択的に、100dpiを超える映像解像度を有する。一部の実施形態では、タッチスクリーンの映像解像度は、400dpiを超える(例えば、500dpi、800dpi、又はそれ以上)。ユーザは、スタイラス、指などの任意の好適なオブジェクト又は付属品を使用して、タッチ感知ディスプレイシステム112と、任意選択的に接触する。一部の実施形態では、ユーザインタフェースは、指に基づく接触及びジェスチャで機能するように設計され、タッチスクリーン上の指の接触面積が広いことにより、スタイラスに基づく入力よりも精度が低いことがある。一部の実施形態では、デバイスは、指に基づく粗い入力を正確なポインタ/カーソル位置又はユーザの望むアクションを実行するためのコマンドに変換する。
一部の実施形態では、タッチスクリーンに加えて、デバイス100は、特定の機能をアクティブ化又は非アクティブ化させるためのタッチパッドを任意選択的に含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチ感知ディスプレイシステム112とは別個のタッチ感知面、又はタッチスクリーンによって形成されたタッチ感知面の延長である。
デバイス100はまた、様々な構成要素に電力を供給するための電力システム162をも含む。電力システム162は、任意選択的に、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC))、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態標識(例えば、発光ダイオード(LED))、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
デバイス100はまた、1つ以上の光センサ164を任意選択的に含む。図1Aは、I/Oサブシステム106内の光センサコントローラ158に接続された光センサを示す。光センサ(単数又は複数)164は、電荷結合デバイス(CCD)又は相補的金属酸化物半導体(CMOS)フォトトランジスタを任意選択的に含む。光センサ(単数又は複数)164は、1つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表すデータに変換する。撮像モジュール143(カメラモジュールとも称する)と連動して、光センサ(単数又は複数)164は、静止画像、拡張写真及び/又は動画を、任意選択的にキャプチャする。一部の実施形態では、タッチスクリーンが静止画像及び/又は動画「映像取得のためのビューファインダとして使用するために有効化されるように、光センサは、デバイスの前面のタッチ感知ディスプレイシステム112の反対側である、デバイス100の背面に配置される。一部の実施形態では、(例えば、自撮りのため、ユーザがタッチスクリーン上で他のテレビ会議参加者を見ながらのテレビ会議のためなど)ユーザの画像を得るように、別の光センサがデバイスの前面に配置される。
デバイス100はまた、1つ以上の接触強度センサ165も任意選択的に含む。図1Aは、I/Oサブシステム106内の強度センサコントローラ159に接続された接触強度センサを示す。接触強度センサ(単数又は複数)165は、1つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(又は圧力)を測定するために使用するセンサ)を、任意選択的に含む。接触強度センサ(単数又は複数)165は、環境から接触強度情報(例えば、圧力情報又は圧力情報のプロキシ)を受信する。一部の実施形態では、少なくとも1つの接触強度センサが、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)に配置されているか、又は、それに近接している。一部の実施形態では、少なくとも1つの接触強度センサが、デバイス100の前面に配置されたタッチスクリーンディスプレイシステム112の反対側である、デバイス100の背面に配置されている。
デバイス100はまた、1つ以上の近接センサ166も任意選択的に含む。図1Aは、周辺機器インタフェース118と接続された近接センサ166を示す。あるいは、近接センサ166は、I/Oサブシステム106内の入力コントローラ160に接続される。一部の実施形態では、多機能デバイスがユーザの耳の近くに配置されている場合(例えば、ユーザが電話通話を行っている場合)、近接センサがオフになり、タッチ感知ディスプレイシステム112が無効になる。
デバイス100はまた、1つ以上の触知出力生成器167も任意選択的に含んでいる。図1Aは、I/Oサブシステム106内の触覚フィードバックコントローラ161に接続された触知出力生成器を示す。触知出力生成器(単数又は複数)167は、スピーカ又は他の音声構成要素などの1つ以上の電気音響デバイス、及び/又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素(例えば、デバイス上で電気信号を触知出力に変換する構成要素)などの、エネルギーを直線運動に変換する電気機械デバイスを、任意選択的に含む。触知出力生成器(単数又は複数)167は、触覚フィードバックモジュール133から触知フィードバック生成命令を受信し、デバイス100のユーザが感知できる触知出力をデバイス100上で生成する。一部の実施形態では、少なくとも1つの触知出力生成器は、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)に配置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向(例えば、デバイス100の表面の内/外)に、又は横方向(例えば、デバイス100の表面と同じ平面内の前後)に動かすことによって、触知出力を生成する。一部の実施形態では、少なくとも1つの触知出力生成器センサは、デバイス100の前面に配置されたタッチ感知ディスプレイシステム112の反対側である、デバイス100の背面に配置されている。
デバイス100はまた、1つ以上の加速度計168も任意選択的に含む。図1Aは、周辺機器インタフェース118に接続された加速度計168を示す。あるいは、加速度計168は、I/Oサブシステム106内の入力コントローラ160に任意選択的に接続される。一部の実施形態では、情報は、1つ以上の加速度計から受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイ上に表示される。デバイス100は、加速度計(単数又は複数)168に加えて、磁気計(図示せず)並びにデバイス100の位置及び向き(例えば、縦長又は横長)に関する情報を取得するためのGPS(又はGLONASS又は他のグローバルナビゲーションシステム)受信部(図示せず)を任意選択的に含む。
一部の実施形態において、メモリ102に記憶されたソフトウェアコンポーネントは、オペレーティングシステム126、通信モジュール(又は命令セット)128、接触/動きモジュール(又は命令セット)130、グラフィックモジュール(又は命令セット)132、ハプティックフィードバックモジュール(又は命令セット)133、テキスト入力モジュール(又は命令セット)134、全地球測位システム(GPS)モジュール(又は命令セット)135、及びアプリケーション(又は命令セット)136を含む。更に、一部の実施形態では、図1A及び図3に示すように、メモリ102はデバイス/グローバル内部状態157を記憶する。デバイス/グローバル内部状態157は、以下の1つ以上を含む。現在アクティブ状態のアプリケーションがある場合、どのアプリケーションがアクティブかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチ感知ディスプレイシステム112の様々な領域を占有しているかを示す、表示状態、デバイスの様々なセンサ及び他の入力又は制御デバイス116から得られる情報を含む、センサ状態、及び、デバイスの場所及び/又は姿勢に関する場所及び/又は位置情報。
オペレーティングシステム126(例えば、iOS(登録商標)、Darwin(登録商標)、RTXC(登録商標)、LINUX(登録商標)、UNIX(登録商標)、OS X(登録商標)、WINDOWS(登録商標)、又はVxWorks(登録商標)などの組み込みオペレーティングシステム)は、一般的なシステムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理など)を制御及び管理するための様々なソフトウェアコンポーネント及び/又はドライバを含み、様々なハードウェアとソフトウェアコンポーネントとの間の通信を容易にする。
通信モジュール128は、1つ以上の外部ポート124を介して他のデバイスとの通信を容易にし、また、RF回路108及び/又は外部ポート124が受信したデータを処理するための様々なソフトウェアコンポーネントを含む。外部ポート124(例えば、ユニバーサルシリアルバス(USB)、FIREWIRE(登録商標)など)は、直接的に、又はネットワーク(例えば、インターネット、無線LANなど)を通して間接的に、他のデバイスに接続するように適合している。一部の実施形態では、外部ポートは、Apple Inc.(Cupertino,California)からのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)デバイスの一部内で使用される30ピンコネクタと同一の、若しくはこれに類似した及び/又は互換性のあるマルチピン(例えば、30ピン)コネクタである。一部の実施形態では、外部ポートは、Apple Inc.(Cupertino,California)からのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)デバイスの一部内で使用されるLightning(登録商標)コネクタと同一の、若しくはこれに類似した及び/又は互換性のあるLightningコネクタである。
接触/動きモジュール130は、任意選択的に、(ディスプレイコントローラ156と連動して)タッチ感知ディスプレイシステム112との接触、及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)との接触を検出する。接触/動きモジュール130は、接触が発生したかどうかの判定(例えば、フィンガダウンイベントの検出)、接触の強度(例えば、接触の力若しくは圧力、又は、接触の力若しくは圧力の代用)の判定、接触の移動及びタッチ感知面にわたる動きの追跡(例えば、1つ以上のフィンガドラッグイベントの検出)があるかどうかの判定、及び接触が中止したかどうか(例えば、フィンガアップイベント又は接触の中断の検出)の判定などの、(例えば、指又はスタイラスによる)接触の検出に関係する様々な動作を実行するための様々なソフトウェアコンポーネントを含む。接触/動きモジュール130は、タッチ感知面から接触データを受信する。一連の接触データにより表現される接触点の移動を判定することは、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを任意選択的に含む。これらの動作は任意選択的に、単一の接触(例えば、1つの指の接触又はスタイラスの接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。一部の実施形態では、接触/動きモジュール130及びディスプレイコントローラ156は、タッチパッド上の接触を検出する。
接触/動きモジュール130は任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン(例えば、異なる動き、タイミング、及び/又は検出される接触の強度)を有する。したがって、ジェスチャは、特定の接触パターンを検出することによって、任意選択的に検出される。例えば、フィンガタップジェスチャを検出することは、フィンガダウンイベントを検出し、続いて(例えば、アイコンの位置での)そのフィンガダウンイベントと同じ位置(又は、実質的に同じ位置)でフィンガアップ(リフトオフ)イベントを検出することを含む。別の実施例として、タッチ感知面でのフィンガスワイプジェスチャの検出は、フィンガダウンイベントを検出し、続いて1つ以上のフィンガドラッグイベントを検出し、その後、フィンガアップ(リフトオフ)イベントを検出することを含む。同様に、タップ、スワイプ、ドラッグ、及び他のジェスチャは、スタイラスに対して、スタイラスに対する特定の接触パターンを検出することにより、任意選択的に検出される。
グラフィックモジュール132は、表示されるグラフィックの視覚的効果(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性)を変更するための構成要素を含めた、タッチ感知ディスプレイシステム112又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な既知のソフトウェアコンポーネントを含む。本明細書で使用する時、用語「グラフィック」は、ユーザに対して表示することができる任意のオブジェクトを含み、それらのオブジェクトとしては、テキスト、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、動画、アニメーションなどが挙げられるが、これらに限定されない。
一部の実施形態では、グラフィックモジュール132は、使用されるグラフィックを表現するデータを記憶する。各グラフィックには、対応するコードが、任意選択的に割り当てられる。グラフィックモジュール132は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する1つ以上のコードを受信し、次にディスプレイコントローラ156に出力する画面の画像データを生成する。
触覚フィードバックモジュール133は、デバイス100とのユーザ対話に応じて、デバイス100上の1つ以上の場所で触知出力を生成するために、触知出力生成器(単数又は複数)167によって使用される命令を生成するための、様々なソフトウェアコンポーネントを含む。
テキスト入力モジュール134は、任意選択的に、グラフィックモジュール132の構成要素であり、様々なアプリケーション(例えば、連絡先137、電子メール140、IM141、ブラウザ147、及びテキスト入力を必要とする任意の他のアプリケーション)でテキストを入力するための、ソフトキーボードを提供する。
GPSモジュール135は、デバイスの位置を判断し、この情報を様々なアプリケーションで使用するために提供する(例えば、ロケーションベースダイヤル発呼で使用するための電話138へ、写真/動画のメタデータとしてカメラ143へ、並びに気象ウィジェット、地方のイエローページウィジェット、及び地図/ナビゲーションウィジェットなどのロケーションベースのサービスを提供するアプリケーションへ)。
アプリケーション136は任意選択的に以下のモジュール(又は、命令のセット)、又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール137(アドレス帳又は連絡先リストと称されることもある)、
●電話モジュール138、
●テレビ会議モジュール139、
●電子メールクライアントモジュール140、
●インスタントメッセージング(IM)モジュール141、
●トレーニングサポートモジュール142、
●静止画像及び/又は動画映像用のカメラモジュール143、
●画像管理モジュール144、
●ブラウザモジュール147、
●カレンダーモジュール148、
●気象ウィジェット149−1、株価ウィジェット149−2、計算機ウィジェット149−3、アラーム時計ウィジェット149−4、辞書ウィジェット149−5、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット149−6のうちの1つ以上を任意選択的に含む、ウィジェットモジュール149、
●ユーザ作成ウィジェット149−6を作成するためのウィジェット作成モジュール150、
●検索モジュール151、
●任意選択的に動画再生モジュール及び音楽再生モジュールから構成される、動画及び音楽再生モジュール152、
●メモモジュール153、
●地図モジュール154、及び/又は
●オンラインビデオモジュール155。
任意選択的にメモリ102内に記憶される他のアプリケーション136の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA(登録商標)対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、連絡先モジュール137は、(例えば、メモリ102又はメモリ370内の連絡先モジュール137のアプリケーション内部状態192に記憶される)アドレス帳又は連絡先リストを管理する実行可能命令を含み、それには、アドレス帳に名前(単数又は複数)を加えること、アドレス帳から名前(単数又は複数)を削除すること、電話番号(単数又は複数)、メールアドレス(単数又は複数)、住所(単数又は複数)、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類して並べ替えること、電話番号及び/又は電子メールアドレスを提供して、電話138、テレビ会議139、電子メール140、若しくはIM141、による通信を開始する及び/又は容易にすることなどが含まれる。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、電話モジュール138は、電話番号に対応する一連の文字を入力し、アドレス帳137内の1つ以上の電話番号にアクセスし、入力されている電話番号を修正し、それぞれの電話番号をダイヤルし、会話を実行し、会話が完了した際に接続を切るか又は電話を切る、実行可能命令を含む。上述のように、無線通信は、複数の通信規格、プロトコル、及び技術のうちのいずれかを任意選択的に使用する。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、光センサ(単数又は複数)164、光センサコントローラ158、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先リスト137、及び電話モジュール138と併せて、テレビ会議モジュール139は、ユーザの指示に従って、ユーザと1人以上の他の参加者との間のテレビ会議を開始し、行い、終了する実行可能命令を含む。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、電子メールクライアントモジュール140は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理する、実行可能命令を含む。画像管理モジュール144と連携して、電子メールクライアントモジュール140は、カメラモジュール143で撮影された静止画像又は動画映像を有する電子メールを作成及び送信することを非常に容易にする。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、インスタントメッセージングモジュール141は、インスタントメッセージと対応する文字列を入力し、入力済みの文字を修正し、それぞれのインスタントメッセージを送信し(例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス(SMS)若しくはマルチメディアメッセージサービス(MMS)プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのXMPP、SIMPLE、Apple Push Notification Service(APNs)、若しくはIMPSを使用して)、インスタントメッセージを受信してその受信したインスタントメッセージを見る、実行可能命令を含む。一部の実施形態では、送信及び/又は受信されたインスタントメッセージは、MMS及び/又は拡張メッセージングサービス(EMS)でサポートされるように、グラフィック、写真(例えば、静止画像)、拡張写真、音声ファイル、映像ファイル、及び/又は他の添付を任意選択的に、含む。本明細書で使用する時、「インスタントメッセージ」とは、電話ベースのメッセージ(例えば、SMS又はMMSを使用して送信されるメッセージ)及びインターネットベースのメッセージ(例えば、XMPP、SIMPLE、APNs、又はIMPSを使用して送信されるメッセージ)の両方を意味する。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、地図モジュール154、及び音楽再生モジュール146と併せて、トレーニングサポートモジュール142は、(例えば、時間、距離、及び/又はカロリー消費目標を有する)トレーニングを生成する、(スポーツデバイス及びスマートウォッチ内の)トレーニングセンサと通信する、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択して再生し、並びに、トレーニングデータを表示し、記憶し、送信する、実行可能命令を含んでいる。
タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、光センサ(単数又は複数)164、光センサコントローラ158、接触モジュール130、グラフィックモジュール132、及び画像管理モジュール144と併せて、カメラモジュール143は、静止画像又は動画(ビデオストリームを含む)をキャプチャしてメモリ102にそれらを記憶する、静止画像又は動画の特徴を変更する、及び/又はメモリ102から静止画像若しくは動画を削除する実行可能命令を含む。
タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィクモジュール132、テキスト入力モジュール134、及びカメラモジュール143と併せて、画像管理モジュール144は、静止画像及び/又は動画映像を配置し、修正し(例えば、編集し)又は別の方法で操作し、ラベルを付け、削除し、提示し(例えば、デジタルスライドショー又はアルバム内で)、並びに記憶する実行可能命令を含む。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、ブラウザモジュール147は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索し、リンク付け、受信し、表示することを含むユーザの指示に従い、インターネットを閲覧する実行可能命令を含む。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と併せて、カレンダーモジュール148は、ユーザの指示に従い、カレンダー及びカレンダーに関連付けられたデータ(例えば、カレンダー項目、すべきことのリストなど)を作成、表示、変更、並びに記憶する実行可能命令を含む。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と併せて、ウィジェットモジュール149は、任意選択的に、ユーザによってダウンロードされ、使用されるミニアプリケーション(例えば、気象ウィジェット149−1、株式ウィジェット149−2、計算機ウィジェット149−3、アラーム時計ウィジェット149−4、及び辞書ウィジェット149−5)、又はユーザによって作成されるミニアプリケーション(例えば、ユーザ作成ウィジェット149−6)である。一部の実施形態では、ウィジェットは、HTML(ハイパーテキストマークアップ言語)ファイル、CSS(カスケーディングスタイルシート)ファイル、及びJavaScript(登録商標)ファイルを含む。一部の実施形態において、ウィジェットは、XML(拡張可能マークアップ言語)ファイル及びJavaScriptファイル(例えば、Yahoo!(登録商標)ウィジェット)を含む。
RF回路機構108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と併せて、ウィジェット作成モジュール150は、ウィジェットを作成する(例えば、ウェブページのユーザ指定箇所をウィジェットに変える)実行可能な命令を含む。
タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィクモジュール132、及びテキスト入力モジュール134と併せて、検索モジュール151は、ユーザの指示に従い、1つ以上の検索基準(例えば、1つ以上のユーザ指定の検索語句)と一致する、メモリ102内のテキスト、音楽、音、画像、動画、及び/又は他のファイルを検索する実行可能命令を含む。
タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィクモジュール132、オーディオ回路110、スピーカ111、RF回路108、及びブラウザモジュール147と併せて、動画及び音楽再生モジュール152は、MP3又はAACファイルなどの1つ以上のファイル形式で記憶された録音済みの音楽又は他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能命令、並びに動画を(タッチ感知ディスプレイシステム112上又は無線で若しくは外部ポート124を介して接続された外部のディスプレイ上に)表示、提示、又は別の方法で再生する実行可能命令を含む。一部の実施形態では、デバイス100は、任意選択的に、iPod(Apple Inc.の商標)などのMP3プレーヤの機能を備える。
タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と併せて、メモモジュール153は、ユーザの指示に従って、メモ、すべきことのリストなどを作成及び管理する実行可能命令を含む。
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、及びブラウザモジュール147と併せて、地図モジュール154は、ユーザの指示に従って、地図及び地図に関連付けられたデータ(例えば、運転方向、特定の場所若しくはその付近の店舗及び関心対象の他の地点についてのデータ、並びに場所に基づく他のデータ)を受信し、表示し、修正し、記憶する実行可能命令を含む。
タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と併せて、オンラインビデオモジュール155は、ユーザがH.264などの1つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、受信し(例えば、ストリーミング及び/又はダウンロードにより)、再生し(例えば、タッチスクリーン112上で又は無線で若しくは外部ポート124を介して接続された外部のディスプレイ上で)、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理できるようにする実行可能命令を含む。一部の実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール140ではなく、インスタントメッセージングモジュール141が使用される。
上記で識別されたモジュール及びアプリケーションのそれぞれは、1つ以上の上記の機能を実行するための実行可能命令セット及び本出願に記載の方法(例えば、コンピュータにより実行される方法及び本明細書に記載の他の情報処理方法)に対応する。これらのモジュール(すなわち、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において任意選択的に、組み合わせ、又は再配置される。一部の実施形態では、メモリ102は、上述の識別されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ102は、上述されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
一部の実施形態では、デバイス100は、デバイス上の機能の所定のセットの動作が排他的にタッチスクリーン及び/又はタッチパッドを介して実行されるデバイスである。デバイス100の動作のための主要入力制御デバイスとしてタッチスクリーン及び/又はタッチパッドを使用することにより、デバイス100上の物理的な入力制御デバイス(プッシュボタン、ダイヤル、など)の数を、任意選択的に低減する。
排他的にタッチスクリーン及び/又はタッチパッドを介して実行される、所定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。一部の実施形態では、タッチパッドは、ユーザによってタッチされると、デバイス100上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューへデバイス100をナビゲートする。そのような実施形態では、「メニューボタン」はタッチパッドを用いて実装される。一部の他の実施形態では、メニューボタンは、タッチパッドの代わりに、物理プッシュボタン又は他の物理入力制御デバイスである。
図1Bは、一部の実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。一部の実施形態では、メモリ102(図1A)又は370(図3)は、イベントソート部170(例えば、オペレーティングシステム126内)及び対応するアプリケーション136−1(例えば、上述のアプリケーション136、137〜155、及び380〜390のいずれか)を含む。
イベントソート部170は、イベント情報を受信し、イベント情報が配信されるアプリケーション136−1及びアプリケーション136−1のアプリケーションビュー191を決定する。イベントソート部170は、イベントモニタ171及びイベントディスパッチャモジュール174を含んでいる。一部の実施形態では、アプリケーション136−1は、アプリケーションがアクティブ又は実行中の時、タッチ感知ディスプレイシステム112上に表示される現在のアプリケーションビュー(単数又は複数)を示す、アプリケーション内部状態192を含む。一部の実施形態では、デバイス/グローバル内部状態157は、いずれのアプリケーション(単数又は複数)が現在アクティブであるかを判定するために、イベントソート部170によって使用され、アプリケーション内部状態192は、イベント情報の配信先となるアプリケーションビュー191を決定するために、イベントソート部170によって使用される。
一部の実施形態では、アプリケーション内部状態192は、アプリケーション136−1が実行を再開する際に使用される再開情報、アプリケーション136−1によって情報が表示されているか又は表示の準備が整っていることを示すユーザインタフェース状態情報、ユーザがアプリケーション136−1の以前の状態又はビューに戻ることを可能にするための状態待ち行列、及びユーザが以前に行ったアクションのリドゥ/アンドゥ待ち行列、のうちの1つ以上などの追加情報を含む。
イベントモニタ171は、周辺機器インタフェース118からイベント情報を受信する。イベント情報は、サブイベント(例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイシステム112上でのユーザのタッチ)についての情報を含む。周辺機器インタフェース118は、I/Oサブシステム106、又は近接センサ166、加速度計(単数又は複数)168、及び/若しくは(オーディオ回路110を介する)マイクロフォン113などのセンサから受信する情報を送信する。周辺機器インタフェース118がI/Oサブシステム106から受信する情報は、タッチ感知ディスプレイシステム112又はタッチ感知面からの情報を含む。
一部の実施形態では、イベントモニタ171は、所定の間隔で周辺機器インタフェース118に要求を送信する。これに応じて、周辺機器インタフェース118はイベント情報を送信する。他の実施形態では、周辺機器インタフェース118は、重要なイベント(例えば、所定のノイズ閾値を上回り、かつ/又は所定の持続時間を超えた入力を受信すること)が存在する場合にのみ、イベント情報を送信する。
一部の実施形態では、イベントソート部170はまた、ヒットビュー判定モジュール172及び/又はアクティブイベント認識部判定モジュール173も含む。
ヒットビュー判断モジュール172は、タッチ感知ディスプレイシステム112が1つより多くのビューを表示した際に、1つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手続きを提供する。ビューは、制御部及びユーザがディスプレイ上で見ることが可能な他の要素で構成される。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書では、アプリケーションビュー又はユーザインタフェースウィンドウと呼ばれる場合があるビューのセットであり、それらの中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される(それぞれのアプリケーションの)アプリケーションビューは、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに任意選択的に、対応する。例えば、タッチが検出される最低レベルのビューは任意選択的に、ヒットビューと呼ばれ、適切な入力として認識されるイベントのセットは、タッチベースのジェスチャを開始する最初のタッチのヒットビューに少なくとも部分的に基づいて、任意選択的に、判定される。
ヒットビュー判定モジュール172は、タッチベースのジェスチャのサブイベントと関連付けられた情報を受信する。アプリケーションが、階層として編成された複数のビューを有する場合、ヒットビュー判定モジュール172は、そのサブイベントを処理すべき階層内の最下位のビューとしての、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、起因となるサブイベント(即ち、イベント又は潜在的なイベントを形成するサブイベントのシーケンスにおける最初のサブイベント)が発生する最低レベルのビューである。ヒットビューがヒットビュー判定モジュールによって特定されると、ヒットビューは、典型的には、それがヒットビューとして特定された、同じタッチ又は入力ソースに関連するすべてのサブイベントを受信する。
アクティブイベント認識部判定モジュール173は、ビュー階層内のどのビュー(単数又は複数)がサブイベントの特定のシーケンスを受信すべきかを判定する。一部の実施形態では、アクティブイベント認識部判定モジュール173は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール173は、サブイベントの物理位置を含むすべてのビューはアクティブに関わっているビューであると判定し、したがって、すべてのアクティブに関わっているビューは、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントがある特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューは、依然としてアクティブに関わっているビューであり続ける。
イベントディスパッチャモジュール174は、イベント情報をイベント認識部(例えば、イベント認識部180)に送信する。アクティブイベント認識部判定モジュール173を含む実施形態において、イベントディスパッチャモジュール174は、アクティブイベント認識部判定モジュール173により判定されたイベント認識部にイベント情報を配信する。一部の実施形態では、イベントディスパッチャモジュール174は、それぞれのイベント受信部モジュール182により取得されるイベント情報をイベント待ち行列内に記憶する。
一部の実施形態では、オペレーティングシステム126は、イベントソート部170を含む。あるいは、アプリケーション136−1はイベントソート部170を含む。更に他の実施形態では、イベントソート部170は、独立型のモジュール、又は接触/動きモジュール130などの、メモリ102に記憶された別のモジュールの一部である。
一部の実施形態では、アプリケーション136−1は、各々がアプリケーションのユーザインタフェースの各ビュー内で発生するタッチイベントを処理する命令を含む、複数のイベントハンドラ190及び1つ以上のアプリケーションビュー191を備えている。アプリケーション136−1の各アプリケーションビュー191は、1つ以上のイベント認識部180を含む。通常は、それぞれのアプリケーションビュー191に複数のイベント認識部180が含まれる。他の実施形態では、イベント認識部180のうちの1つ以上は、ユーザインタフェースキット(図示せず)又はアプリケーション136−1が方法及び他の特性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。一部の実施形態では、それぞれのイベントハンドラ190は、データ更新部176、オブジェクト更新部177、GUI更新部178、及び/又はイベントソート部170から受信したイベントデータ179、のうちの1つ以上を含む。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データ更新部176、オブジェクト更新部177、又はGUI更新部178を任意選択的に、利用するか又は呼び出す。あるいは、アプリケーションビュー191のうちの1つ以上は、1つ以上の対応するイベントハンドラ190を含んでいる。また、一部の実施形態では、データ更新部176、オブジェクト更新部177、及びGUI更新部178のうちの1つ以上は、それぞれのアプリケーションビュー191に含まれる。
それぞれのイベント認識部180は、イベントソート部170からイベント情報(例えば、イベントデータ179)を受信して、そのイベント情報からイベントを特定する。イベント認識部180は、イベント受信部182及びイベント比較部184を含む。一部の実施形態では、イベント認識部180は更に、メタデータ183及びイベント配信命令188(任意選択的に、サブイベント配信命令を含む)の少なくともサブセットを含む。
イベント受信部182は、イベントソート部170からイベント情報を受信する。このイベント情報には、サブイベントについての情報、例えば、タッチ又はタッチの移動についての情報が含まれる。サブイベントによっては、イベント情報はまた、サブイベントの場所などの追加情報も含む。サブイベントが、タッチの動きに関わる時、イベント情報はまた、サブイベントの速度及び方向も任意選択的に含む。一部の実施形態では、イベントは、1つの向きから別の向きへの(例えば、縦方向から横方向への、又はその逆の)デバイスの回転を含み、そのイベント情報は、デバイスの現在の向き(デバイスの姿勢とも呼ばれる)についての対応する情報を含む。
イベント比較部184は、イベント情報を既定イベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定する、あるいはイベント又はサブイベントの状態を判定若しくは更新する。一部の実施形態において、イベント比較部184は、イベント定義186を含む。イベント定義186は、例えば、イベント1(187−1)、イベント2(187−2)などの、イベントの定義(例えば、サブイベントの既定のシーケンス)を含む。一部の実施形態では、イベント187内のサブイベントは、例えば、タッチ開始、タッチ終了、タッチの移動、タッチの中止、及び複数のタッチを含む。ある実施例では、イベント1(187−1)の定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の所定の段階についての第1のタッチ(タッチ開始)、所定の段階についての第1のリフトオフ(タッチ終了)、表示されたオブジェクト上の所定の段階についての第2のタッチ(タッチ開始)、及び所定の段階についての第2のリフトオフ(タッチ終了)を含む。別の実施例では、イベント2(187−2)の定義は、表示されたオブジェクト上のドラッグ操作である。ドラッグは、例えば、表示されたオブジェクト上の所定の段階についてのタッチ(又は接触)、タッチ感知ディスプレイシステム112にわたるタッチの移動、及びタッチのリフトオフ(タッチ終了)を含む。一部の実施形態では、イベントはまた、1つ以上の関連付けられたイベントハンドラ190に関する情報も含む。
一部の実施形態では、イベント定義187は、それぞれのユーザインタフェースオブジェクトに関するイベントの定義を含む。一部の実施形態では、イベント比較部184は、サブイベントに関連付けられたユーザインタフェースオブジェクトを判定するヒットテストを実行する。例えば、3つのユーザインタフェースオブジェクトがタッチ感知ディスプレイシステム112上に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイシステム112上でタッチが検出されると、イベント比較部184は、3つのユーザインタフェースオブジェクトのうちのどれがタッチ(サブイベント)に関連付けられているかを判定するためのヒットテストを行う。表示された各オブジェクトが、対応するイベントハンドラ190に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベントハンドラ190をアクティブ化すべきかを判定する。例えば、イベント比較部184は、サブイベント及びヒットテストを誘発するオブジェクトに関連付けられたイベントハンドラを選択する。
一部の実施形態では、各イベント187に関する定義はまた、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の配信を遅延させる、遅延作用も含む。
それぞれのイベント認識部180が、一連のサブイベントがイベント定義186のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部180は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューに関してアクティブのまま維持される他のイベント認識部があれば、進行中のタッチに基づくジェスチャのサブイベントを、引き続き追跡及び処理する。
一部の実施形態では、それぞれのイベント認識部180は、構成可能なプロパティと、フラグと、及び/又はイベント配信システムがアクティブに関わっているイベント認識部にどのようにサブイベント配信を実行するかについて示すリストと、を有するメタデータ183を含む。一部の実施形態では、メタデータ183は、構成可能なプロパティと、フラグと、及び/又はイベント認識部が互いにどのように対話し得るか若しくは対話が可能になるかについて示すリストと、を含む。一部の実施形態では、メタデータ183は、構成可能なプロパティと、フラグと、及び/又はサブイベントがビュー階層若しくはプログラム階層内の様々なレベルに配信されるか否かを示すリストと、を含む。
一部の実施形態では、それぞれのイベント認識部180は、イベントの1つ以上の特定のサブイベントが認識された時に、イベントに関連付けられたイベントハンドラ190をアクティブ化する。一部の実施形態では、それぞれのイベント認識部180は、イベントに関連付けられたイベント情報をイベントハンドラ190に配信する。イベントハンドラ190をアクティブ化することは、対応するヒットビューにサブイベントを送信(及び送信を延期する)することとは異なる。一部の実施形態では、イベント認識部180は、認識されたイベントに関連付けられたフラグをスローし、フラグに関連付けられたイベントハンドラ190は、フラグをキャッチし、所定のプロセスを実行する。
一部の実施形態では、イベント配信命令188は、イベントハンドラをアクティブ化せずに、サブイベントに関するイベント情報を配信するサブイベント配信命令を含む。その代わりに、サブイベント配信命令は、一連のサブイベントに関連付けられたイベントハンドラ又はアクティブに関わっているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関わっているビューに関連付けられたイベントハンドラは、イベント情報を受信し、所定のプロセスを実行する。
一部の実施形態では、データ更新部176は、アプリケーション136−1で使用されるデータを作成及び更新する。例えば、データ更新部176は、連絡先モジュール137で使用される電話番号を更新、又はビデオプレーヤモジュール145で使用されるビデオファイルを記憶する。一部の実施形態では、オブジェクト更新部177は、アプリケーション136−1で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部177は、新たなユーザインタフェースオブジェクトを作成するか、又はユーザインタフェースオブジェクトの位置を更新する。GUI更新部178は、GUIを更新する。例えば、GUI更新部178は、表示情報を作成し、タッチ感知ディスプレイ上に表示するため、表示情報をグラフィックモジュール132に送信する。
一部の実施形態では、イベントハンドラ(単数又は複数)190は、データ更新部176、オブジェクト更新部177、及びGUI更新部178を含むか、若しくはそれらにアクセスすることができる。一部の実施形態では、データ更新部176、オブジェクト更新部177、及びGUI更新部178は、それぞれのアプリケーション136−1又はアプリケーションビュー191の単一モジュールに含まれる。他の実施形態では、それらは、2つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の説明はまた、入力デバイスを用いて多機能デバイス100を動作させるための他の形態のユーザ入力にも適用されるが、そのすべてがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、単一又は複数のキーボードの押圧又は保持に任意選択的に合わせたマウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触移動、ペンスタイラス入力、デバイスの移動、口頭による指示検出された眼球運動、バイオメトリック入力、及び/又はこれらの任意の組み合わせが、認識対象のイベントを定義するサブイベントに対応する入力として任意選択的に利用される。
図2は、一部の実施形態に係る、タッチスクリーン(例えば、図1Aのタッチ感知ディスプレイシステム112)を有するポータブル多機能デバイス100を示す。タッチスクリーンは、ユーザインタフェース(UI)200内に1つ以上のグラフィックを、任意選択的に表示する。本実施形態、並びに後述する他の実施形態において、ユーザは、例えば、1本以上の指202(図には、正確な縮尺率では描かれていない)又は1つ以上のスタイラス203(図には、正確な縮尺率では描かれていない)を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの1つ以上を選択することができる。一部の実施形態では、ユーザが1つ以上のグラフィックとの接触を中断する際に、その1つ以上のグラフィックの選択が生じる。一部の実施形態では、ジェスチャは、1回以上のタップ、1回以上のスワイプ(左から右へ、右から左へ、上方向へ及び/若しくは下方向へ)、並びに/又は、デバイス100と接触した指のローリング(右から左へ、左から右へ、上方向へ及び/若しくは下方向へ)を、任意選択的に含む。一部の実装又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、対応するアプリケーションを任意選択的に選択しない。
デバイス100はまた、「ホーム」又はメニューボタン204などの、1つ以上の物理ボタンも任意選択的に含む。前述のように、メニューボタン204は、デバイス100上で任意選択的に実行するアプリケーションのセット内の任意のアプリケーション136へのナビゲーションに任意選択的に、使用される。あるいは、一部の実施形態では、メニューボタンは、タッチスクリーンディスプレイに表示されたGUIにおけるソフトキーとして実装されている。
一部の実施形態では、デバイス100は、タッチスクリーンディスプレイ、メニューボタン204、デバイスへの電源をオン/オフし、デバイスをロックするためのプッシュボタン206、音量調整ボタン(単数又は複数)208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212、及びドッキング/充電用外部ポート124を含む。プッシュボタン206は、ボタンを押し下げて、既定の時間にわたってボタンを押し下げた状態で保持することによってデバイス上の電源をオン/オフし、ボタンを押し下げて、既定時間が経過する前にボタンを解放することによってデバイスをロックし、及び/又は、デバイスのロックを解除する、若しくは、ロック解除プロセスを開始する。一部の実施形態では、デバイス100はまた、マイクロフォン113を通して、一部の機能をアクティブ化し、又はディアクティブ化するための口頭入力を受け付ける。デバイス100はまた、タッチ感知ディスプレイシステム112上の接触の強度を検出するための1つ以上の接触強度センサ165、及び/又は、デバイス100のユーザに対する触知出力を生成するための1つ以上の触知出力生成器167も、任意選択的に含む。
図3は、一部の実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス300は、ポータブル型である必要はない。一部の実施形態において、デバイス300は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育的デバイス(子供の学習玩具など)、ゲームシステム、又は制御デバイス(例えば、家庭用又は業務用コントローラ)である。デバイス300は、典型的には、1つ以上の処理ユニット(CPU)310と、1つ以上のネットワーク又は他の通信インタフェース360と、メモリ370と、及びこれらの構成要素を相互接続するための1つ以上の通信バス320と、を含んでいる。通信バス320は、システム構成要素間の通信を相互接続及び制御する回路(チップセットと呼ばれることがある)を任意選択的に含む。デバイス300は、典型的にはタッチスクリーンディスプレイであるディスプレイ340を備える入出力(I/O)インタフェース330を含む。I/Oインタフェース330はまた、キーボード及び/又はマウス(又は他のポインティングデバイス)350並びにタッチパッド355、デバイス300上に触知出力を生成するための(例えば、図1Aを参照して上述された触知出力生成器167と同様の)触知出力生成器357、センサ359(例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び/又は図1Aを参照して上述された接触強度センサ165と同様の接触強度センサ)も、任意選択的に含む。メモリ370は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの、不揮発性メモリを含む。メモリ370は、CPU(単数又は複数)310から離れて位置する1つ以上の記憶デバイスを任意選択的に含む。一部の実施形態では、メモリ370は、ポータブル多機能デバイス100(図1A)のメモリ102に記憶されたプログラム、モジュール、及びデータ構造、又はそれらのサブセットに類似する、プログラム、モジュール、及びデータ構造を記憶する。更に、メモリ370は、ポータブル多機能デバイス100のメモリ102に存在しない追加のプログラム、モジュール、及びデータ構造を、任意選択的に記憶する。例えば、デバイス300のメモリ370は、描画モジュール380、プレゼンテーションモジュール382、ワードプロセッシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388、及び/又はスプレッドシートモジュール390を、任意選択的に記憶するが、ポータブル多機能デバイス100(図1A)のメモリ102は、これらのモジュールを、任意選択的に記憶しない。
上記で特定された図3の要素のそれぞれは任意選択的に、前述のメモリデバイスのうち1つ以上に記憶される。上述の識別されたモジュールの各々は、上述した機能を実行する命令セットに対応する。上述の識別されたモジュール又はプログラム(すなわち、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実施される必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットを任意選択的に、組み合わされるか、又は別の方法で再配置される。一部の実施形態では、メモリ370は、上述の識別されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ370は、上述されていない追加のモジュール及びデータ構造を、任意選択的に記憶する。
ここで、ポータブル多機能デバイス100上に任意選択的に実装される、ユーザインタフェース(「UI」)の実施形態に注意を向ける。
図4Aは、一部の実施形態に係る、ポータブル多機能デバイス100上のアプリケーションのメニューに関する、例示的なユーザインタフェースを示す。同様のユーザインタフェースがデバイス300上に、任意選択的に、実装される。一部の実施形態では、ユーザインタフェース400は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラ及びWi−Fi信号などの無線通信(単数又は複数)のための信号強度インジケータ(単数又は複数)402、
●時刻404、
●Bluetoothインジケータ405、
●バッテリ状態インジケータ406、
●下記などの、頻繁に利用されるアプリケーション用のアイコンを含むトレー408、
○不在着信又は音声メールメッセージの数のインジケータ414を任意選択的に含む、「電話」とラベル付けされた電話モジュール138用のアイコン416、
○未読電子メールの数のインジケータ410を任意選択的に含む、「メール」とラベル付けされた電子メールクライアントモジュール140用のアイコン418、
○「ブラウザ」とラベル付けされた、ブラウザモジュール147用のアイコン420、及び
○「iPod」とラベル付けされた、iPod(Apple Inc.の商標)モジュール152とも称される動画及び音楽再生モジュール152用のアイコン422、及び
●下記などの、その他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされた、IMモジュール141用のアイコン424、
○「カレンダー」とラベル付けされた、カレンダーモジュール148用のアイコン426、
○「写真」とラベル付けされた、画像管理モジュール144用のアイコン428、
○「カメラ」とラベル付けされた、カメラモジュール143用のアイコン430、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール155用のアイコン432、
○「株価」とラベル付けされた、株式ウィジェット149−2用のアイコン434、
○「マップ」とラベル付けされた、地図モジュール154用のアイコン436、
○「天気」とラベル付けされた、気象ウィジェット149−1用のアイコン438、
○「時計」とラベル付けされた、アラーム時計ウィジェット149−4用のアイコン440、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール142用のアイコン442、
○「メモ」とラベル付けされた、メモモジュール153用のアイコン444、及び
○デバイス100及びその様々なアプリケーション136に関する設定へのアクセスを提供する、設定アプリケーション若しくはモジュール用のアイコン446。
図4Aに示されているアイコンのラベルは、単に例示的であることに留意されたい。例えば、一部の実施形態では、動画及び音楽プレーヤモジュール152用のアイコン422は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、各アプリケーションアイコンに関するラベルは、各アプリケーションアイコンに対応するアプリケーションの名前を含んでいる。一部の実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図4Bは、ディスプレイ450とは別個のタッチ感知面451(例えば、図3のタブレット又はタッチパッド355)を備えたデバイス(例えば、図3のデバイス300)上の例示的なユーザインタフェースを示す。以下の実施例の多くは、タッチスクリーンディスプレイ112上の入力(タッチ感知面及びディスプレイが組み合わさっている場合)を参照しながら説明されるが、いくつかの実施形態においては、デバイスは、図4Bに示されるように、ディスプレイとは別個のタッチ感知面上の入力を検出する。一部の実施形態では、タッチ感知面(例えば、図4Bの451)は、ディスプレイ(例えば、450)上の主軸(例えば、図4Bの453)に対応する主軸(例えば、図4Bの452)を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置(例えば、図4Bにおいて、460は468と対応し、462は470と対応する)でのタッチ感知面451との接触(例えば、図4Bの460及び462)を検出する。このように、タッチ感知面がディスプレイとは別個のものである時、タッチ感知面(例えば、図4Bの451)上でデバイスによって検出されたユーザ入力(例えば、接触460及び462、及びそれらの移動)は、多機能デバイスのディスプレイ(例えば、図4Bの450)上のユーザインタフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
更に加えて、以下の例は、主に指入力(例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャなど)を参照して説明されるが、一部の実施形態では、それらの指入力のうちの1つ以上は、別の入力デバイスからの入力(例えば、マウスに基づく入力又はスタイラス入力)で置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、(例えば、接触の代わりに)マウスクリックと置換され、その後、(例えば、接触の移動の代わりに)スワイプの経路に沿ってカーソルの移動が行われる。別の例として、タップジェスチャは、(例えば、接触の検出に続いて接触の検出を停止する代わりに)カーソルがタップジェスチャの位置上に配置されている間、任意選択的に、マウスクリックで置換される。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが同時に、任意選択的に用いられているか、又はマウスと指接触が任意選択的に同時に用いられていることが理解されよう。
本明細書にて使用されるとき、用語「フォーカスセレクタ」とは、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他のロケーションマーカを含む一部の実装において、カーソルは、タッチ感知面(例えば、図3のタッチパッド355、又は図4Bのタッチ感知面451)上で入力(例えば、押圧入力)が検出された時に、カーソルが特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の上にある時、「フォーカスセレクタ」として機能し、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ(例えば、図1Aのタッチ感知ディスプレイシステム112、又は図4Aのタッチスクリーン)を含む一部の実装では、タッチスクリーン上で検出される接触が「フォーカスセレクタ」の役割を果たすため、入力(例えば、接触による押圧入力)が、タッチスクリーンディスプレイ上の特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の場所で検出されると、その特定のユーザインタフェース要素が、検出された入力に従って調節される。一部の実装では、(例えば、タブキー又は矢印キーを使ってフォーカスを1つのボタンから別のボタンに移動させることにより)タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスが、ユーザインタフェースの1つの領域からユーザインタフェースの別の領域に移動される。これらの実装では、フォーカスセレクタは、ユーザインタフェースの異なる領域間でのフォーカスの移動に従って移動する。フォーカスセレクタが採用する具体的な形態とは関わりなく、フォーカスセレクタは、全般的に、ユーザが意図するユーザインタフェースとの対話を(例えば、ユーザが対話することを意図しているユーザインタフェースの要素を、デバイスに示すことによって)伝達するために、ユーザによって制御されるユーザインタフェース要素(又は、タッチスクリーンディスプレイ上での接触)である。例えば、タッチ感知面(例えば、タッチパッド又はタッチスクリーン)上で押圧入力が検出される間の、対応のボタンの上のフォーカスセレクタ(例えば、カーソル、接触、又は選択ボックス)の場所は、その対応のボタンを(そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく)アクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲で使用される時、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指の接触又はスタイラスの接触)の力若しくは圧力(単位面積当たりの力)、又はタッチ感知面上の接触の力若しくは圧力の代用物(プロキシ)を指す。接触の強度は、少なくとも4つの別個の値を含み、より典型的には、何百もの異なる値(例えば、少なくとも256)を含む、値の範囲を有する。接触の強度は、様々な方法及び様々なセンサ、又はセンサの組み合わせを用いて、任意選択的に、判定(又は、測定)される。例えば、タッチ感知面の下に又は隣接して配置された1つ以上の力センサは、タッチ感知面上の様々な点における力を測定するために、任意選択的に使用される。一部の実装では、複数の力センサの力測定値を組み合わせて(例えば、加重平均又は合計)、接触の推定の力を判定する。同様に、スタイラスの感圧性先端部を任意選択的に使用して、タッチ感知面上のスタイラスの圧力を判定する。あるいは、タッチ感知面上で検出される接触領域のサイズ及び/若しくはその変化、接触に近接するタッチ感知面の電気容量及び/若しくはその変化、並びに/又は、接触に近接するタッチ感知面の抵抗及び/若しくはその変化が、タッチ感知面上の接触の力又は圧力の代替物として、任意選択的に用いられる。一部の実装では、接触の力又は圧力の代替的測定値は、強度閾値を超えているか否かを判定するために直接に用いられる(例えば、強度閾値は、代替的測定値に対応する単位で記述される)。一部の実装では、接触の力又は圧力の代替的測定値は、推定される力又は圧力に変換され、この推定される力又は圧力を用いて、強度閾値を超えているか否かを判定する(例えば、強度閾値は、圧力の単位で測定された圧力閾値である)。接触の強度をユーザ入力の属性として使用することは、アフォーダンスを(例えば、タッチ感知ディスプレイ上に)表示するため、及び/又はユーザ入力を(例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的/機械的制御を介して)受信するための面積が制限された、縮小されたサイズのデバイスにおいて、ユーザによるアクセスが他の場合に容易には不可能であり得る、追加のデバイス機能へのユーザのアクセスを可能にする。
一部の実施形態では、接触/動きモジュール130は、ユーザによって動作が実行されたか否かを判定するための(例えば、ユーザがアイコン上で「クリック」したか否かを判定するための)、1つ以上の強度閾値のセットを使用する。一部の実施形態において、少なくとも強度閾値のサブセットが、ソフトウェアパラメータに従って判定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されず、デバイス100の物理ハードウェアを変更することなく調整し得る)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変更することなく広範囲の既定閾値の値のうちのいずれかに設定し得る。更に、一部の実装において、デバイスのユーザには、(例えば、個々の強度閾値を調整することにより、及び/又は、システムレベルのクリック「強度」パラメータにより、一度に複数の強度閾値を調整することによって)強度閾値のセットのうちの1つ以上を調整するためのソフトウェア設定が提供される。
本明細書及び特許請求の範囲で使用するとき、接触の「特性強度」という用語は、接触の1つ以上の強度に基づく、その接触の特性を指す。一部の実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、所定の数の強度サンプル、又は所定のイベント(例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増加を検出する前若しくは後、及び/又は接触の強度の減少を検出する前若しくは後)に対して所定の時間期間(例えば、0.05、0.1、0.2、0.5、1、2、5、10秒)内に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の中間値(mean value)、接触の強度の平均値(average value)、接触の強度の上位10パーセンタイル値、接触の強度の最大値の半分の値、接触の強度の最大値の90%の値など、のうちの1つ以上に基づく。一部の実施形態では、特性強度を判定するために、接触の期間が使用される(例えば、特性強度が経時的な接触の強度の平均である時)。一部の実施形態では、動作がユーザによって実行されたか否かを判定するために、特性強度を1つ以上の強度閾値のセットと比較する。例えば、1つ以上の強度閾値のセットは、第1の強度閾値及び第2の強度閾値を含むことができる。この実施例では、第1の閾値を上回らない特性強度を有する接触の結果として第1の動作が実行され、第1の強度閾値を上回り、第2の強度閾値を上回らない特性強度を有する接触の結果として第2の動作が実行され、第2の強度閾値を上回る特性強度を有する接触の結果として第3の動作が実行される。一部の実施形態では、特性強度と1つ以上の強度閾値との間の比較が、第1の動作又は第2の動作のいずれを実行するかを判定するために使用されるのではなく、1つ以上の動作を実行するかどうか(例えば、それぞれの任意選択を実行するのか、又はそれぞれの動作の実行を省略するのか)を判定するために使用される。
一部の実施形態では、特性強度を判定する目的で、ジェスチャの一部分が特定される。例えば、タッチ感知面は、接触の強度が増加する、開始位置から遷移して終了位置まで達する連続的なスワイプ接触(例えば、ドラッグジェスチャ)を受け取ってもよい。この実施例では、終了位置における接触の特性強度は、連続的なスワイプ接触全体ではなく、そのスワイプ接触の一部分のみ(例えば、終了位置におけるスワイプ接触の部分のみ)に基づいてもよい。一部の実施形態では、接触の特性強度を判定する前に、平滑化アルゴリズムをそのスワイプ接触の強度に適用してもよい。例えば、平滑化アルゴリズムは、任意選択的に、非荷重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び/又は指数平滑化アルゴリズム、のうちの1つ以上を含む。一部の状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的で、スワイプ接触の強度の小幅な上昇又は低下を排除する。
本明細書で説明されるユーザインタフェースの図は、任意選択的に、1つ以上の強度閾値(例えば、接触検出強度閾値IT0、軽押圧強度閾値ITL、深い押圧強度閾値ITD(例えば、少なくとも最初はILよりも高い)、及び/又は1つ以上の他の強度閾値(例えば、IL未満である強度閾値IH))に対する、タッチ感知面上の接触の現在の強度を示す、様々な強度図を含む。この強度図は、典型的には、表示されるユーザインタフェースの一部分ではないが、それらの図の解釈に役立てるために提供される。一部の実施形態では、軽い押圧強度閾値は、物理マウスのボタン又はトラックパッドのクリックに典型的に関連付けられた動作を、デバイスが実行することになる強度に相当する。一部の実施形態では、深い押圧強度閾値は、物理マウスのボタン又はトラックパッドのクリックに典型的に関連付けられた動作とは異なる動作を、デバイスが実行することになる強度に相当する。一部の実施形態では、軽い押圧強度閾値を下回る(例えば、かつ、それを下回ると接触がもはや検出されないわずかな接触検出強度閾値IT0を上回る)特性強度で接触が検出される場合、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の移動に従って、フォーカスセレクタを移動させる。全般的には、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の異なるセット間でも一貫している。
一部の実施形態では、デバイスにより検出された入力へのデバイスの応答は、入力の間の接触強度に基づく基準による。例えば、一部の「軽い押圧」入力に対して、入力の間の第1の強度閾値を上回る接触の強度は第1の応答を誘発する。一部の実施形態では、デバイスにより検出された入力へのデバイスの応答は、入力の間の接触強度及び時間に基づく基準の両方を含む基準による。例えば、一部の「深い押圧」入力に対して、入力の間の、軽い押圧に対する第1の強度閾値より大きい第2の強度閾値を上回る接触の強度は、第1の強度閾値との一致と第2の強度閾値との一致との間で遅延時間が経過した場合のみ、第2の応答を誘発する。この遅延時間は、典型的には、持続時間が200ms未満(例えば、第2の強度閾値の大きさにより、第2の強度閾値が増加すると遅延時間が増加して、40ms、100ms、又は120ms)である。この遅延時間は、偶発的な深い押圧入力を防ぐのに役立つ。別の例として、一部の「深い押圧」入力では、第1の強度閾値が満たされた時間の後に生じる感度低下期間がある。感度が低減した時間期間の間、第2の強度閾値は増加する。第2の強度閾値のこの一時的な増加もまた、偶発的な深い押圧入力を防ぐのに役立つ。他の深い押圧入力に対して、深い押圧入力の検出への応答は、時間に基づく基準によらない。
一部の実施形態では、入力強度閾値及び/又は対応する出力の1つ以上は、ユーザ設定、接触の移動、入力タイミング、実行しているアプリケーション、強度が加わる速度、現在の入力数、ユーザ履歴、環境要因(例えば、周囲ノイズ)、フォーカスセレクタの位置などの、1つ以上の要因に基づいて変化する。例示的な要因は、米国特許出願公開第14/399,606号及び同第14/624,296号(これらは、参照によりその全体を本明細書に組み込まれる)で説明されている。
例えば、図4Cは、経時的タッチ入力の強度476に部分的に基づいて、時間と共に変化する動的強度閾値480を示す。動的強度閾値480は、2つの成分の和、すなわち、タッチ入力476が最初に検出されてから既定の遅延時間p1の後に経時的に減衰する第1の成分474と、経時的にタッチ入力の強度476の後を追う第2の成分478と、の和である。第1の成分474の最初の高強度閾値は、「深い押圧」応答の偶発的な誘発を抑制し、その一方で、タッチ入力476が十分な強度を提供した場合には、迅速に「深い押圧」応答できるようにしている。第2の成分478は、タッチ入力の強度の変動を緩やかにすることによって、「深い押圧」応答の意図しない誘発を抑制する。一部の実施形態では、タッチ入力476が、動的強度閾値480を(例えば、図4Cの点481において)満足する場合、「深い押圧」応答が誘発される。
図4Dは、別の動的強度閾値486(例えば、強度閾値ID)を示す。図4Dはまた、2つの他の強度閾値、すなわち、第1の強度閾値IHと、第2の強度閾値ILと、を示している。図4Dでは、タッチ入力484は、時間p2の前に第1の強度閾値IHと第2の強度閾値ILとを満足するが、時間482において遅延時間p2が経過するまでは、なんら応答しない。図4Dではまた、動的強度閾値486は経時的に減衰し、ここで、減衰は、(第2の強度閾値ILに関連付けられた応答が誘発された)時間482から既定の遅延時間p1が経過した後に時間488において開始する。このタイプの動的強度閾値は、第1の強度閾値IH又は第2の強度閾値ILなどのより低い強度閾値関連付けられた応答の誘発の直後又は誘発と同時の、動的強度閾値IDに関連付けられた応答の偶発的な誘発を抑制する。
図4Eは、また別の動的強度閾値492(例えば、強度閾値ID)を示す。図4Eでは、強度閾値ILに関連付けられた応答が、最初に検出されたタッチ入力490から遅延時間p2が経過した後に誘発される。同時に、動的強度閾値492は、最初に検出されたタッチ入力490から既定の遅延時間p1が経過した後に減衰する。そのため、タッチ入力490の強度が別の強度閾値(例えば、強度閾値IL)を下回っていたとしても、強度閾値ILに関連付けられた応答を誘発した後にタッチ入力490の強度が減少し、続いて、タッチ入力490を解除せずにタッチ入力490の強度が増加すると、強度閾値IDに関連付けられた応答を(例えば、時間494において)誘発できる。
軽い押圧強度閾値ITLを下回る強度から、軽い押圧強度閾値ITLと深い押圧強度閾値ITDとの間の強度への、接触の特性強度の増加は、「軽い押圧」入力と称される場合がある。深い押圧強度閾値ITDを下回る強度から、深い押圧強度閾値ITDを上回る強度への、接触の特性強度の増加は、「深い押圧」入力と称される場合がある。接触検出強度閾値IT0を下回る強度から、接触検出強度閾値IT0と軽い押圧強度閾値ITLとの間の強度への、接触の特性強度の増加は、タッチ面上の接触の検出と称される場合がある。接触検出強度閾値IT0を上回る強度から、接触検出強度閾値IT0を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と称される場合がある。一部の実施形態では、IT0はゼロである。一部の実施形態では、IT0はゼロよりも大きい。一部の図では、影付きの円又は楕円が、タッチ感知面上の接触の強度を表すために使用される。一部の図では、影なしの円又は楕円は、それぞれの接触の強度を指定することなく、タッチ感知面上のそれぞれの接触を表すために使用される。
本明細書で説明される一部の実施形態では、1つ以上の動作は、それぞれの押圧入力を含むジェスチャの検出に応じて、又はそれぞれの接触(又は、複数の接触)で実行されるそれぞれの押圧入力の検出に応じて実行され、それらのそれぞれの押圧入力は、少なくとも部分的に、押圧入力強度閾値を上回る接触(又は、複数の接触)の強度の増加の検出に基づいて検出される。一部の実施形態では、それぞれの動作は、押圧入力強度閾値を上回る、それぞれの接触の強度の増加の検出に応じて、実行される(例えば、それぞれの動作は、それぞれの押圧入力の「ダウンストローク」により実行される)。一部の実施形態では、押圧入力は、押圧入力強度閾値を上回る、それぞれの接触の強度の増加、及び後続の押圧入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、その後続の押圧入力閾値を下回るそれぞれの接触の強度の減少の検出に応じて、実行される(例えば、それぞれの動作は、それぞれの押圧入力の「アップストローク」により実行される)。
一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある不測の入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との所定の関連性を有するヒステリシス強度閾値を定義又は選択する(例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりもX強度単位低いか、又は、ヒステリシス強度閾値は、押圧入力強度閾値の75%、90%、若しくはなんらかの妥当な比率である)。それゆえ、一部の実施形態では、押圧入力は、押圧入力強度閾値を上回る、それぞれの接触の強度の増加、及び後続の、押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、そのヒステリシス強度閾値を下回る、後続のそれぞれの接触の強度の減少の検出に応じて、実行される(例えば、それぞれの動作は、それぞれの押圧入力の「アップストローク」により実行される)。同様に、一部の実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増加、及び任意選択的に、ヒステリシス強度以下の強度への、後続の接触の強度の減少を検出する場合にのみ検出され、それぞれの動作は、その押圧入力の検出(例えば、状況に応じて、接触の強度の増加、又は接触の強度の減少)に応じて、実行される。
説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力に応じて、又はその押圧入力を含むジェスチャに応じて実行される動作の説明は、押圧入力強度閾値を上回る接触の強度の増加、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増加、押圧入力強度閾値を下回る接触の強度の減少、又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少の検出に応じて、任意選択的に誘発される。更に加えて、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて動作が実行されるとして説明される実施例では、その動作は、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る、接触の強度の減少を検出したことに応じて任意選択的に実行される。上述のように、いくつかの実施形態では、これらの応答の誘発はまた、一致する時間に基づく基準(例えば、一致する第1の強度閾値と一致する第2の強度閾値との間で遅延時間が経過した)による。
ユーザインタフェース及び関連プロセス
ここで、ディスプレイと、タッチ感知面と、任意選択的に、タッチ感知面との接触の強度を検出する1つ以上のセンサとを備える電子デバイス(ポータブル多機能デバイス100又はデバイス300など)上で実装され得る、ユーザインタフェース(「UI」)及び関連処理の実施形態に着目する。
図5A〜図5Kは、一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャするための例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図9A〜図9G、図10A〜図10M、図11A〜図11I、図12A〜図12B、図24A〜図24E、図25A〜図25C、図26A〜図26D及び図27A〜図27Eにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のうちの一部については、タッチ感知ディスプレイシステム112を備えるデバイス上で行われる動作に関連して説明する。このような実施形態では、フォーカスセレクタは、任意選択的に、それぞれの指又はスタイラスの接触、指又はスタイラスの接触に対応する代表的な点(例えば、それぞれの接触の重心又はそれぞれの接触に関連した点)、又は、タッチ感知ディスプレイシステム112上で検出された2つ以上の接触の重心である。ただし、任意選択的に、ディスプレイ450と、別個のタッチ感知面451と、を備えるデバイス上で、ディスプレイ450上に図示のユーザインタフェースをフォーカスセレクタと共に表示しながら、タッチ感知面451上で接触を検出したことに応じて、類似の動作が行われる。
図5Aは、タッチスクリーン112上にライブプレビューを表示するためのメディアキャプチャユーザインタフェース500を示す。図5Aに示すライブプレビューは、ポータブル多機能デバイス100のカメラ(例えば、光センサ164を備えるカメラモジュール143)から取得した画像のプレビューである。メディアキャプチャユーザインタフェース500上のライブプレビューは、カメラから取得した画像をリアルタイム又は準リアルタイム(例えば、ポータブル多機能デバイス100が表示画像を生成するために必要とする処理時間内)で表示する。よって、図5Aに示す例では、ユーザは、カモメ502が樹504の上方の空を飛ぶシーンを見ており、ポータブル多機能デバイス100は、そのシーンをリアルタイム又は準リアルタイムでタッチスクリーン112上に再生している。一部の実施形態では、ライブプレビューは、画像を(例えば、カメラの解像度の上限未満である)第1の解像度で表示する。
この例では、ポータブル多機能デバイス100は、ライブプレビュー中、(例えば、ポータブル多機能デバイス100が拡張写真を取得するように構成される)拡張メディア取得モード又は(例えば、ポータブル多機能デバイス100が、静止画像、動画、バースト画像又は任意の他のタイプの画像をキャプチャするように構成される)別のメディア取得モードにあるように構成される。一部の実施形態では、メディアキャプチャユーザインタフェース500は、拡張メディア取得モードを可能にする(例えば、拡張メディア取得モードのオン/オフを切り替える)ためのアフォーダンス506を含む。一部の実施形態では、メディアキャプチャユーザインタフェース500は、拡張メディア取得モードがオフであるという視覚的な指標を含む。例えば、図5Aでは、アフォーダンス506が、「オフ」という言葉を表示している。
一部の実施形態では、拡張メディア取得モードがオンである場合、ポータブル多機能デバイス100は、(例えば、メディアキャプチャユーザインタフェース500の表示されている間に、画像及び/又は音声データがキャプチャされていることを示すために)拡張メディア取得モードがオンであるという視覚的な指標を提供する。例えば、図5C〜図5Hに示すように、拡張メディア取得モードがオンである場合、アフォーダンス506が、絶え間なく進む指針面508を有する時計を示すアニメーションによってアニメーション表示される。
一部の実施形態では、図5Bに示すように、ポータブル多機能デバイス100は、拡張メディア取得モードが無効である間に、アフォーダンス506の選択を検出する(例えば、アフォーダンス506上でのタップジェスチャ510を検出する)。それに応じて、ポータブル多機能デバイス100は、(アフォーダンス506のアニメーションによって図5C〜図5Hに示すように)拡張メディア取得モードを有効化する。
ポータブル多機能デバイス100は、拡張メディア取得モードがオンである場合、メディア(例えば、画像及び/又は音声)をキャプチャする。例えば、図5C〜図5Eでは拡張動画モードがオンであることから、画像512−1(図5C)、画像512−2(図5D)及び画像512−3(図5E)がキャプチャされる(例えば、永続メモリに記憶される)。一部の実施形態では、(例えば、マイクロフォン113により)画像に対応する音声もまたキャプチャされ、(例えば、図6E〜図6Iに示すように、後で画像と共に再生するために)画像に関連付けられる。一部の実施形態では、他の情報(例えば、時間、位置又はイベントデータなどのメタデータ)が取得され、(例えば、図6J〜図6Mに示すように、後で表示するために)キャプチャされた画像に関連付けられる。
メディアキャプチャユーザインタフェース500は、(シャッター開放アイコンとして示されている)シャッターボタン514を含む。図5Fに示すように、メディアキャプチャユーザインタフェース500は、(例えば、タップジェスチャ518による)シャッターボタン514のアクティブ化を検出するように構成される。シャッターボタン514のアクティブ化を検出したことに応じて、ポータブル多機能デバイス100は、シャッターボタン514のアクティブ化の時間的近傍でカメラが取得した複数の画像512を画像シーケンス(例えば、いわゆる「拡張写真」)へグループ化する。拡張写真は、タップジェスチャ518の前に撮られた一部の画像512(例えば、画像512−1、画像512−2及び画像512−3のうちの少なくとも一部であり、上述のように永続メモリに記憶される)と、代表画像(例えば、シャッターのアクティブ化に対応する図5Fの画像512−4)と、タップジェスチャ518の後に撮られた一部の画像(例えば、図5Gの画像512−5、図5Hの画像512−6)と、を含む。
一部の実施形態では、代表画像は、従来のデジタルカメラの静止画像モードでそのシャッターボタンをアクティブ化した時にキャプチャされた単一の画像に類似する。一部の実施形態では、代表画像512−4は、シャッターボタン514がタップジェスチャ518によってアクティブ化された時間において取得された画像に対応する。一部の実施形態では、代表画像512−4は、シャッターラグ(シャッターボタンのアクティブ化の検出と、代表画像のキャプチャ/記憶と、の間の時間遅延)を考慮した時間における、シャッターボタン514のアクティブ化を検出した直後に取得された画像に対応する。一部の実施形態では、カメラが取得した代表画像512−4は、例えば、(図6Aに示すように)画像提示モードにおいて、画像シーケンスを代表するために使用される。
上述のように、一部の実施形態では、ライブプレビューは、画像を第1の解像度で表示する。一部の実施形態では、画像シーケンス512は、ライブプレビューに表示された画像を第1の解像度で含む一方、カメラが取得した代表画像512−4は、第1の解像度よりも高解像度である第2の解像度を有する。例えば、図5Iに示すように、画像シーケンス512は、(時系列で)画像512−2、画像512−3、画像512−4、画像512−5及び画像512−6を含み、画像512−4が代表画像である。一部の実施形態では、代表画像512−4は、画像512−2、画像512−3、画像512−5又は画像512−6よりも高い解像度で記憶される。
図5F〜図5Hに示すように、一部の実施形態では、シャッターボタン514のアクティブ化の後、メディアキャプチャユーザインタフェース500は、グループ化された画像シーケンスに含まれる残りの画像をキャプチャする間に、アニメーションを表示する(例えば、アニメーションは、ポータブル多機能デバイス100が代表画像512−4と、代表画像512−4の後に取得される画像と、をキャプチャする間に表示される)。図5F〜図5Hでは、メディアキャプチャユーザインタフェース500は、(例えば、画像及び/又は音声が依然としてキャプチャ中であるという指標をユーザに提供するために)バラバラになって元に戻るシャッターボタン514のアニメーションを表示する。一部の実施形態では、アニメーションは、カメラが画像シーケンスのための画像の取得を終える前にシャッターボタン514が押下げられたままである場合又は再度アクティブ化された場合に途切れなく延長され得るループアニメーションである。
一部の実施形態では、画像シーケンスのキャプチャが完了すると、ポータブル多機能デバイス100は、図5Aに関連して説明した機能に戻り、その結果、ユーザは、上述の画像シーケンスのキャプチャと同様に、第2の画像シーケンスを取得できる。
図5I〜図5Kに示すように、一部の実施形態では、ポータブル多機能デバイス100は、画像シーケンスを編集及び/又は構成するための第2のユーザインタフェース520を表示する(例えば、第2のユーザインタフェース520は、画像シーケンス編集モードにおけるユーザインタフェースである)。図5Iでは、画像シーケンスに含まれる画像512は、実線の境界線を有する画像、すなわち、画像512−2、画像512−3、画像512−4、画像512−5及び画像512−6であり、画像512−4が代表画像である。よって、画像512−2は、画像シーケンスにおける最初の画像であり、最初の画像512−2と代表画像512−4との間には、1つの画像(画像512−3)がある(ただし、一部の実施形態では、最初の画像と代表画像との間には、5、10又は30の画像など、より大きい整数の画像がある)。画像512−6は、画像シーケンスにおける最後の画像であり、代表画像512−4と最後の画像512−6との間には、1つの画像(画像512−5)がある(ただし、一部の実施形態では、代表画像と最後の画像との間には、5、10又は30の画像など、より大きい整数の画像があり、この数は、最初の画像と代表画像との間にある画像の数と同じである必要はない)。図5Iの画像512−4の周囲の太い境界線は、画像512−4が代表画像であることを示している。
図5Jに示すように、第2のユーザインタフェース520は、画像シーケンスにおける代表画像を変更する要求を受ける(例えば、現在の代表画像512−4ではない画像上へのタッチジェスチャ522を受ける)ように構成される。図5Kに示すように、デバイスは、代表画像を画像512−3に変更することによって、タッチジェスチャ522に応答する(画像512−3は、図5Kにおいて太い境界線を有し、画像512−3が新しい代表画像であることを示す)。一部の実施形態では、最初の画像と代表画像との間における画像の数及び代表画像と最後の画像との間における画像の数は固定であり、その結果、ポータブル多機能デバイス100は、画像シーケンスに対し、一方の端部において画像を加え、他方の端部において画像を取り除く(例えば、削除する又は含めない)ことによって画像シーケンスを変更する。例えば、図5Kでは、最初の画像と代表画像との間における画像の数を固定とするために、画像512−1が画像シーケンスに追加され、代表画像と最後の画像との間における画像の数を固定とするために、画像512−6が画像シーケンスから取り除かれている。
図6A〜図6FFは、一部の実施形態に係る、グループ化された関連画像シーケンス(拡張写真と呼ぶ場合もある)を表示(又は再生)するための例示的なユーザインタフェースを示す図である。これらの図におけるユーザインタフェースは、図9A〜図9G、図10A〜図10M、図11A〜図11I、図12A〜図12B、図24A〜図24E、図25A〜図25C、図26A〜図26D及び図27A〜図27Eにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。以下の例は、(ポータブル多機能デバイス100上で示されているように、タッチ感知面とディスプレイとが組み合わされている)タッチスクリーンディスプレイ上の入力に関連して説明されるが、一部の実施形態において、デバイスは、図4Bに示すように、ディスプレイ450とは別個のタッチ感知面451上で入力を検出する。
図6Aは、ユーザインタフェース600を示す。ポータブル多機能デバイス100は、ユーザインタフェース600において、グループ化された画像シーケンス602における代表画像602−3を表示する。一部の実施形態では、ユーザインタフェース600は、画像提示モードにおけるユーザインタフェースである。後述するように、画像シーケンス602は、代表画像602−3と、代表画像を取得した後にカメラが取得した1つ以上の画像(例えば、図6Cの画像602−4及び図6Dの画像602−5)と、代表画像を取得する前にカメラが取得した1つ以上の画像(例えば、図6Eの画像602−1及び図6Fの画像602−2)と、を含む。
一部の実施形態では、ユーザインタフェース600は、画像管理アプリケーション(例えば、Apple Inc.(Cupertino,California)のPhotos)におけるユーザインタフェースである。そのため、一部の実施形態では、画像シーケンス602を撮ったカメラは、ポータブル多機能デバイス100の一部(例えば、図1Aの撮像モジュール143と併せて光センサ164を備えるカメラ)である。一部の実施形態では、画像シーケンス602は、ポータブル多機能デバイス100の一部ではないカメラで撮られた(例えば、画像シーケンス602は、別のデバイスのカメラで撮られた後、ポータブル多機能デバイス100に転送された)。一部の実施形態では、画像シーケンス602は、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて取得されている。一部の実施形態では、代表画像602−3は、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、カメラが取得した代表画像に対応する。
一部の実施形態では、ポータブル多機能デバイス100は、複数のグループ化された画像シーケンスを記憶し、その複数のグループ化画像シーケンスのうちの一部が、ポータブル多機能デバイス100を使用して取得されたものであり、かつ、その複数のグループ化画像シーケンスのうちの一部が、異なるデバイス上のカメラで撮られた後にポータブル多機能デバイス100へ転送されたものである。例えば、一部の状況では、ユーザは、方法900/2600に関連して説明する画像シーケンスを複数のデバイス(例えば、ポータブル多機能デバイス100に加えて、タブレット、ラップトップ及び/又はデジタルカメラ)上で取得し(例えば、撮り、キャプチャし)、画像シーケンスをポータブル多機能デバイス100へ同期又は他の方法で転送し得る。
一部の実施形態では、ユーザインタフェース600は、メッセージングアプリケーション(例えば、Apple Inc.(Cupertino,California)のMessages)におけるユーザインタフェースである。一部の状況では、ユーザは、ユーザ自身のポータブル多機能デバイス100上でそれぞれの画像シーケンスを取得し(例えば、撮り、キャプチャし)、異なるユーザから異なる画像シーケンスを(例えば、メッセージングアプリケーションにおいて)受信したのであってもよい。よって、一部の実施形態では、画像シーケンス602は、ポータブル多機能デバイス100上のカメラを使用して取得された少なくとも1つの画像シーケンスと、ポータブル多機能デバイス100とは異なる、別のデバイス上のカメラを使用して取得された少なくとも1つの画像シーケンスと、を含む、ポータブル多機能デバイス100上に記憶された複数の画像シーケンスにおけるそれぞれの画像シーケンスである。
一部の実施形態では、代表画像602−3は、ポータブル多機能デバイス100が収集ビューモードにある場合に、ユーザインタフェース600に表示される。
ユーザインタフェース600は、任意選択的に、もう1つのツールバーを含む。例えば、図示のように、ユーザインタフェース600は、複数のアフォーダンス606(例えば、電子メールアプリケーション、メッセージアプリケーション又は他のアプリケーションを使用して、ユーザが画像シーケンス602を他のユーザに送信できるようにする送信アフォーダンス606−1;画像シーケンス602を編集するためのユーザインタフェースを立ち上げる編集アフォーダンス606−2;ユーザが画像シーケンス602がユーザのお気に入りの内の1つであることを示すことができる、お気に入りアフォーダンス606−3;及びユーザが画像シーケンス602を削除できるようにする削除アフォーダンス606−4)を含む操作ツールバー604を含む。別の例として、ユーザインタフェース600は、別の複数のアフォーダンス(例えば、アクティブ化すると、ユーザの写真をナビゲートするためのユーザインタフェースへナビゲートする全写真アフォーダンス610−1;及びアクティブ化すると、写真を取得するためのユーザインタフェースなどの異なるユーザインタフェースへナビゲートする「完了」アフォーダンス610−2)を含むナビゲーションツールバー608を含む。
図6A〜図6Vに示す画像シーケンス602は、猫612が歩いてきて視界に入り、地面に寝転がり、立ち上がって歩み去るシーンを描いている。それと同時に、さえずる小鳥614が木の枝に止まる。実際には、このようなシーンが展開するのには数秒かかり得るが、一部の実施形態では、画像シーケンス602は、短い時間窓でキャプチャされる。例えば、一部の実施形態では、代表画像602−3を取得した場合、画像シーケンス602は、一瞬前後(例えば、0.5、1.0、1.5、2.0又は2.5秒内)の瞬間を描く。例えば、ユーザは、猫612が草に寝転がった時に興味がかき立てられ、代表画像602−3を撮る気になった場合もある。一部の実施形態では、画像シーケンス602は、代表画像602−3を取得した直前及び直後の画像を含んで、本明細書で説明するように、ユーザが代表画像602−3に対して特定の操作を行った場合に瞬間が「動き出し」得る拡張写真を、画像シーケンス602が含むようにする。
図6Bは、ポータブル多機能デバイス100がユーザインタフェース600を表示する間にポータブル多機能デバイス100が検出した、第1の入力616の第1の部分616−1を示す。特に、ポータブル多機能デバイス100が、タッチスクリーン112上に表示されたユーザインタフェース600上に代表画像602−3を表示する間に、ポータブル多機能デバイス100は、第1の入力616の第1の部分616−1を検出する。一部の実施形態では、第1の入力616が既定の基準(例えば、既定の拡張写真表示基準)を満たしているという判定に従って、図6B〜図6Oに示す動作が行われる。例えば、一部の実施形態では、図6B〜図6Oに示すように第1の入力616又は第1の部分616−1が長押しジェスチャである場合、図6B〜図6Oに示す動作が行われる(例えば、誘発される)。一部の実施形態では、ポータブル多機能デバイス100は、タッチスクリーン112との接触の強度を検出する1つ以上のセンサを含み、第1の入力616が、既定の強度基準を満たす(例えば、満足する)特性強度を有する場合、図6B〜図6Oに示す動作が行われる(例えば、誘発される)(例えば、強度図618に示すように、第1の入力616が軽い押圧閾値ITLを超えた場合であり、強度図は、表示されるユーザインタフェース600の一部ではないが、図面の解釈を助けるために提供されている)。一部の実施形態では、第1の入力616又は第1の部分616−1が、既定の経路特性(例えば、長押しジェスチャと同様に静止又はスワイプ/ドラッグジェスチャと同様に実質的に直線状)を有し、かつ既定の強度基準を満たす(例えば、既定の強度閾値超える)場合、図6B〜図6Oに示す動作が行われる(例えば、誘発される)。以下、説明の目的ために、図6B〜図6Oに示す動作については、強度図618に示すように、軽い押圧閾値IL超える長押しジェスチャによって誘発されるものとして説明する。
図6Cは、ポータブル多機能デバイス100がユーザインタフェース600を表示する間に検出された第1の入力616の第1の部分616−1の(図6Bからの)継続に対するポータブル多機能デバイス100の応答を示す。特に、図6B〜図6Dに示すように、第1の入力616の第1の部分616−1を検出したことに応じて、ポータブル多機能デバイス100は、ユーザインタフェース600内の代表画像の表示を、ユーザインタフェース600内の代表画像602−3を取得した後にカメラが取得した1つ以上の画像の表示と置き換える。一部の実施形態によれば、代表画像602−3を取得した後にカメラが取得した1つ以上の画像は、第1の入力616の第1の部分616−1が検出される間に順番に表示される。そのため、図6Cは、画像シーケンス602における代表画像602−3の後に取得された次の画像である、画像602−4の表示を示している。画像602−4では、猫612は、地面に寝転がった後に立ち上がって、歩み去ろうとし始めている。小鳥614は、木に止まったままである。よって、画像602−4は、それぞれの画像602−3の後に撮られた画像である。
図6Dは、ポータブル多機能デバイス100がユーザインタフェース600を表示する間に検出された第1の入力616の第1の部分616−1の(図6Cからの)継続に対するポータブル多機能デバイス100の応答を示す。図6Dでは、ポータブル多機能デバイス100は、ユーザインタフェース600内の画像602−4の表示を、ユーザインタフェース600内の画像602−5の表示と置き換え、画像602−5は、画像シーケンス602における代表画像602−3を取得した後にカメラが取得した最後の画像である。よって、図6A〜図6Dは、代表画像602−3の後に取得された、画像シーケンス602における2つの画像がある例を示す。しかしながら、様々な実施形態及び/又は状況において、画像シーケンスは、様々な数(例えば、整数)の、代表画像602−3を取得した後にカメラが取得した画像(例えば、2、5、10又は20の画像)を含み得ることを理解されたい。
画像602−5では、猫612は、視界から部分的に歩み去り、小鳥614は、木に止まったままである(例えば、画像602−5は、それぞれの画像602−4後に撮られた画像である)。よって、図6B〜図6Dは、一部の実施形態に係る、十分に深い長押しジェスチャによって、拡張写真が代表画像から開始して順方向に表示され、それによって、画像が動き出した印象を生み出す例を示す。一部の実施形態では、第1の部分616−1の間に第1の入力616を終了しない限り、第1の入力616の第1の部分616−1は、代表画像602−3を取得した後にカメラが取得した画像シーケンス602における画像のすべてが順番に置き換わるのにかかる時間続く(例えば、持続時間を有する)。このような実施形態では、代表画像602−3を取得した後にカメラが取得した画像シーケンス602における画像のすべてが順番に置き換わるのにかかる時間の後に生じる第1の入力616の部分は、第1の部分616−1の一部とはみなされないが、後述のように、第1の入力616の続きの部分とみなされる。
一部の実施形態では、代表画像602−3を取得した後にカメラが取得した1つ以上の画像は、第1の入力616の第1の部分616−1を検出したことに応じて、強度図618に示すように、第1の入力616の第1の部分616−1における接触の強度に基づくレートで順番に表示される(例えば、表示レートは、第1の入力616の第1の部分616−1における接触の強度が増加するにつれて増進し、表示レートは、第1の入力616の第1の部分616−1における接触の強度が減少するにつれて減退する)。一部の実施形態では、第1の入力616の第1の部分616−1の間に画像シーケンス602を順次表示する間、ポータブル多機能デバイス100は、それぞれの画像が表示されている間、第1の入力616の特性強度に比例(又は反比例)する持続時間だけ、画像シーケンス602における各画像に留まる。そのため、例えば、そのような実施形態では、それぞれの図における強度図618に示すように、第1の入力616の強度が、代表画像602−3(図6B)及び画像602−4(図6C)表示する間の方が、画像602−5(図6D)を表示する間よりも高いことから、ポータブル多機能デバイス100は、画像602−5(図6D)よりも短い期間だけ代表画像602−3(図6B)及び画像602−4(図6C)に留まる。
一部の実施形態では、このように最初に表示レートが第1の入力616における接触強度に依存した後、(後述のように、第1の入力616のその後の部分を検出したことに応じた)続く画像シーケンス602の表示は、第1の入力616のその後の部分の接触強度とは独立に固定表示レートで行われる。そのため、例えば、ポータブル多機能デバイス100は、画像602−1(図6E)及び画像602−2(図6F)に、それぞれの図の強度図618によって示されるように第1の入力616における強度の差にも関わらず、同じ持続時間だけ留まる。
一部の実施形態では、図6E〜図6Iを参照して以下に説明するように、ポータブル多機能デバイス100が、第1の入力616の第1の部分616−1を検出したことに応じて、代表602−3を取得した後にカメラが取得した1つ以上の画像を表示した後、デバイス100は、第1の入力616の第2の部分616−2に応じて、一巡ループして戻り、画像シーケンス602全体を表示する(又は第1の入力616及び/又はその強度が維持される限り、画像シーケンス602全体を表示する)。一部の実施形態では、画像シーケンス602がループされる又は再度表示される場合、画像シーケンス602の終わりから画像シーケンス602の始めにかけてクロスフェードアニメーションが表示される。
図6Eは、第1の入力616の第1の部分616−1を検出した後に、ポータブル多機能デバイス100が、第1の入力616の第2の部分616−2を検出する(例えば、ポータブル多機能デバイス100は、指ジェスチャにおける十分な接触及び/又は強度を検出し続ける)状況を示す。第1の入力616の第2の部分616−2を検出したことに応じて、図6E〜図6Iに示すように、ポータブル多機能デバイス100は、ユーザインタフェース600内に、代表画像616−3を取得する前にカメラが取得した1つ以上の画像(例えば、図6Eの画像616−1及び図6Fの画像616−2)と、代表画像602−3(図6G)と、代表画像を取得した後にカメラが取得した1つ以上の画像(例えば、図6Hの画像602−4及び図6Iの画像602−5)と、を順番に表示する。よって、一部の実施形態では、第1の入力616の第2の部分616−2を検出したことに応じて、シーケンスにおける最初の画像から最後の画像まで画像シーケンス602全体が(例えば、第1の入力616が中断されない限り)表示される。
一部の実施形態では、第1の入力616の第2の部分616−2は、第1の入力616の第1の部分616−1に連続し、かつその直後の部分である。一部の実施形態では、第2の部分616−2の間に第1の入力616を終了しない限り、第1の入力616の第2の部分616−2は、画像シーケンス602における画像のすべてが順番に置き換わるのにかかる時間続く(例えば、持続時間を有する)。
画像602−1(図6E)では、猫612は視界に入り始めており、小鳥614はまだ木に止まっていない。画像602−2(図6F)では、猫612は完全に視界に入っており、小鳥614は木に止まっている。このように、画像602−2は、602−1の後に撮られた画像であり、両方の画像602−1及び602−2とも、代表画像602−3(図6G)の前に撮られたものである。(それぞれの画像は、表示される様々な図面において同じである。例えば、画像602−4は、図6Cと図6Hとで同じである。簡潔にするために、これらの図面の態様については、他の図面に関連して説明した態様については繰り返し説明しない。)
一部の実施形態では、第1の入力616の第1の部分616−1の間における、代表画像602−3を取得した後にカメラが取得した1つ以上の画像の(図6B〜図6Dに示すような)順次表示と、第1の入力616の第2の部分616−2の間における、画像シーケンス602全体の(図6E〜図6Iに示すような)順次表示と、の間における1つの違いは、第1の入力616の第2の部分616−2を検出したことに応じて、ポータブル多機能デバイス100が、画像シーケンス602に対応する音声620を(例えば、スピーカ111を介して)提示することである。このことは、小鳥614から発せられている「チュンチュン」という言葉によって図6F〜図6Iに示す。(この例では、「チュンチュン」という言葉は、画像には現れないが、スピーカ111が生成した音声を示すために図面に提供している。)一部の実施形態では、第1の入力616の第2の部分616−2を検出したことに応じて、画像シーケンス602を取得した時に記録された対応する音声620と共に、画像シーケンス602全体が表示される。一部の実施形態では、第1の入力616の第1の部分616−1を検出したことに応じて、音声は提示されない。一部の実施形態では、(例えば、第1の入力616の第2の部分616−2を検出したことに応じて)画像シーケンス602の最初の完全な再生の後に第1の入力616が維持される場合、(画像シーケンス602全体の2回目の再生を示す図6J〜図6Mを参照して説明するように)第1の入力616を引き続き検出したことに応じる続くシーケンス再生の間は、音声は再度提示されない。一部の実施形態では、所与の入力については、画像シーケンス602最初の完全な再生の間にのみ音声は提示される。一部の実施形態では、所与の入力については、画像シーケンス602の異なる続く再生(例えば、画像シーケンス602の2回目の完全な再生)の間、又はある数の既定の再生(例えば、画像シーケンス602の最初及び2回目の完全な再生)の間にのみ音声が提示される。
一部の実施形態では、画像シーケンス602は、(例えば、最初の完全な再生の間に)第1の入力616の第2の部分616−2を検出したことに応じて、固定レートで(例えば、「1x」レートとも呼ばれる、画像が取得されたのと同じレートで)順番に表示される。例えば、一部の実施形態では、最初の完全な再生の間に1xレートで音声が提示され、対応する画像シーケンス602が1xレートで表示され、再生が自然に見え、かつ自然な音となるようにする。一部の実施形態では、1xレートは、ポータブル多機能デバイス100が、それぞれの画像と次の画像とを取得する間に経過した時間と実質的に同じ時間だけ、それぞれの画像に留まることを意味する。
一部の実施形態では、画像シーケンス602における画像は、第1の入力616の接触の強度とは独立な固定レートで順番に表示される。例えば、ポータブル多機能デバイス100は、画像602−1(図6E)及び画像602−2(図6F)に、それぞれの図の強度図618に示される入力強度が異なるにも関わらず、同じ長さの時間だけ留まる。一部の実施形態では、第1の入力616の第2の部分616−2の間、画像シーケンス602における画像が順番に表示されるレートは、第1の入力616の接触の強度に依存する。例えば、レートは、接触の強度が増加するにつれて増進する。
一部の実施形態では、図6J〜図6Mを参照して以下に説明するように、ポータブル多機能デバイス100が、第1の入力616の第2の部分616−2を検出したことに応じて画像シーケンス602を表示した後(例えば、デバイスが画像シーケンス602の最初の完全な再生を完了した後)、デバイス100は、第1の入力616の第3の部分616−3に応じて、一巡ループして戻り、画像シーケンス602全体を(例えば、第1の入力616及び/又はその強度が維持される限り)表示する。一部の実施形態では、画像シーケンス602がループされる又は再度表示される場合、画像シーケンス602の終わりから画像シーケンス602の始めにかけてクロスフェードアニメーションが表示される。
図6J〜図6Mは、第1の入力616の第2の部分616−2を検出した後に、ポータブル多機能デバイス100が、第1の入力616の第3の部分616−3を検出する(例えば、ポータブル多機能デバイス100は、指ジェスチャにおける十分な接触及び/又は強度を検出し続ける)状況を示す。第1の入力616の第3の部分616−3を検出したことに応じて、ポータブル多機能デバイス100は、ユーザインタフェース600内に、代表画像602−3を取得する前にカメラが取得した1つ以上の画像(例えば、図6Jの画像602−1及び図6Kの画像602−2)と、代表画像616−3(図6L)と、代表画像を取得した後にカメラが取得した1つ以上の画像(例えば、図6Mの画像602−4)と、を順番に表示する。しかしながら、図示の例では、第1の入力616は、第3の部分616−3の間に終了し、以下に詳述する異なる機能となる。よって、一部の実施形態では、第1の入力616の第3の部分616−3を検出したことに応じて、シーケンスにおける最初の画像から最後の画像まで画像シーケンス602全体が、画像シーケンス602全体の表示を完了する前に第1の入力616が中断される(例えば、中止される)まで表示される。一部の実施形態では、ループは、第1の入力616が維持される限り続くが、異なるループ上で異なる機能及び/又は動作が任意選択的に利用可能である(又は行われる)。例えば、上述のように、ポータブル多機能デバイス100は、最初の完全な再生の際に音声を提供する。同様に、一部の実施形態では、第1の入力616の第3の部分616−3を検出したことと、2番目の完全な再生を表示することと、に応じて、ポータブル多機能デバイス100は、画像シーケンス602に対応する(例えば、日付、時間、位置又は画像シーケンス602に関連付けられた任意の他の情報を示す)メタデータ622を表示する。
上述のように、図6J〜図6Oは、第1の入力616が第3の部分616−3の間に(例えば、図6Nの強度図618に示すように、リフトオフすなわち強度が低下して既定の閾値IT0を下回ることによって)中止される例を示す。図6N〜図6Oは、一部の実施形態に係る、第3の部分616−3の間における第1の入力616の終了(例えば、中止又は停止)に応じて行われる動作を示す。一部の実施形態では、第1の入力616の第2の部分616−2又は第1の部分616−1の間において第1の入力616が終了した場合に類似の動作が行われる。一部の実施形態では、第1の入力616が終了した場合、ポータブル多機能デバイス100は、現在の表示画像が、代表画像602−3の前に生じたか後に生じたかを判定する。現在の表示画像が、図6N〜図6Oに示すように、代表画像602−3の後に生じた(例えば、後に撮られた)場合、ポータブル多機能デバイス100は、現在の表示画像(例えば、図6Nの画像602−4)から代表画像602−3へ画像シーケンス602を逆時系列で順番に表示する(例えば、ポータブル多機能デバイス100は、代表画像602−3へ後戻りする)。反対に、現在の表示画像が、代表画像602−3の前に生じた(例えば、前に撮られた)場合、ポータブル多機能デバイス100は、現在の表示画像から代表画像602−3へ画像シーケンス602を時系列で順番に表示する(例えば、ポータブル多機能デバイス100は、代表画像602−3までループを順方向に進める)。
一部の状況では、グループ化された画像シーケンスは、その代表画像に関して非対称であり、これは代表画像の前に生じる画像の数と後に生じる画像の数とが等しくないことを意味する。一部の実施形態では、ポータブル多機能デバイス100は、時系列方向と、逆時系列方向とで、現在の表示画像と代表画像との間の画像がより少ないのはどちらかを判定する。次いで、ポータブル多機能デバイス100は、現在の表示画像と代表画像との間の画像がより少ない方向に、画像シーケンスを順番に表示する(例えば、移動する)。
図6P〜図6Vは、長押しジェスチャ636の強度を制御することによって、ユーザが、グループ化された画像シーケンスにおける画像の表示を制御する実施形態を示す。図6Pは、図6Aに類似しており、図6Q〜図6Vにおける機能を説明するための開始点として提供されている。一部の実施形態では、長押しジェスチャ636が、既定の基準を満たす場合、画像シーケンス602のための再生機能が誘発される。例えば、それぞれの長押し入力が、押圧閾値ITLを下回ったままである場合、ポータブル多機能デバイス100は、長押しジェスチャに応じて代表画像602−3の表示を置き換えない(例えば、その代わりに、ポータブル多機能デバイス100は、異なる機能を実行する)。それに対して、長押しジェスチャ636が、図6Qに示すように、軽い押圧閾値ITLを上回った場合、ポータブル多機能デバイス100は、(強度図618に示す)長押しジェスチャ636の強度を画像シーケンス602における画像のうちの少なくとも一部に対応づける。例えば、図6Qにおいて画像シーケンス602のための再生機能が誘発されたことから、ポータブル多機能デバイス100は、長押しジェスチャ636の強度が強度範囲618−3内にある場合に代表画像602−3を表示する(図6Q及び図6U)。同様に、ポータブル多機能デバイス100は、長押しジェスチャ636の強度が、強度範囲618−1内にある場合に画像602−1を表示し、長押しジェスチャ636の強度が、強度範囲618−2内にある場合に画像602−2を表示し(図6V)、長押しジェスチャ618の強度が、強度範囲618−4内にある場合に画像602−4を表示し(図6T及び図6R)、長押しジェスチャ636の強度が、強度範囲618−5内にある場合に画像602−5を表示する(図6S)。よって、図6Q〜図6Vは、ユーザが、ユーザ入力の強度に基づいて、グループ化された画像シーケンスにおける画像を逆方向及び順方向にスクラブ(例えば、グループ化された画像シーケンスにおける表示画像を直接制御)できることを示す(例えば、その結果、グループ化された画像シーケンスにおける画像の置き換えを表示するなめらかなアニメーションが進んだり戻ったりする)。
図6Wは、ユーザが、入力強度654を制御することによって、グループ化された画像シーケンス656における代表画像の後に取得された画像の表示を制御する実施形態を示す。図6Wに示す例では、軽い押圧閾値ITLと深い押圧閾値ITDとの間の強度値は、グループ化された画像シーケンス656における代表画像の後に取得されたそれぞれの画像に対応づける。図6Wに示す強度図は、それらの矢印によって示されるように、グループ化された画像シーケンス656における代表画像の後に取得された、特定の画像に対応付けられる入力強度654を示す。入力が、軽い押圧閾値ITLを超えた場合、ユーザは、入力の強度を制御することによって、グループ化された画像シーケンスにおける代表画像の後に取得された画像間を前へ、次いで後ろへスクラブできる。一部の実施形態では、入力が、深い押圧閾値ITDを超えた場合、グループ化された画像シーケンス656は、固定レートで置き換えられる(例えば、進む)(例えば、デバイスは、グループ化画像シーケンス656を固定レートで再生し、グループ化された画像シーケンス656における最後の画像が表示された後、開始画像へと一巡してループする)。図6Wはまた、グループ化された画像シーケンス656に関連付けられた、音声658とメタデータ660とを示す(例えば、そして、上述のようにグループ化された画像シーケンス658と共に提供されている)。
図6Xは、図6A〜図6Oを参照して説明した実施形態に大半が類似するが、ユーザ入力の最初の部分に対するデバイス100の応答が図6A〜図6Oを参照して説明した実施形態とは異なる、実施形態を示す。特に、図6Xに示す実施形態では、ユーザ入力の第1の部分(例えば、図6A〜図6Oを参照して説明したユーザ入力に類似するユーザ入力)を検出したことに応じて、デバイス100は、(例えば、図表656に示すように)画像シーケンスにおける最初の画像に直接移行すること、又は(例えば、画像シーケンスを画像シーケンスにおける最後の画像まで最初に順方向に再生するのではなく)画像シーケンスを(例えば、図表650に示すように、数枚の画像を順方向に再生することによって)順方向に短く再生した後に、最初の画像にクロスフェードすることのいずれかによって、再生を開始する。
図6Xでは、ユーザ入力648の間の再生は、1つ以上の曲線(例えば、曲線662及び/又は曲線664)によって表現される。一部の実施形態によれば、ユーザ入力648の間における再生を表現する曲線の実線部分は、再生された画像を表現する一方、点線部分は、再生されない画像を表現する。
そのため、例えば、図表650では、デバイス100は、代表画像652を最初に表示する。ユーザ入力648に応じて、デバイス100は、3つの画像(例えば、あるいは1つの画像又は10の画像など)を画像660まで順方向に再生し、次いで、画像660の表示を、最初の画像654の表示と置き換える。図6A〜図6Oを参照して説明した実施形態のいずれかによれば、次いで、デバイス100は、画像シーケンスを最初の画像654から順方向に再生する(例えば、続くループにおいて、音、メタデータなどと共に拡張写真を最初から最後までループする)。このようにして、デバイス100は、代表画像652の後に取得された1つ以上の画像を表示することによって、代表画像652を表示することから最初の画像654(又は任意の他のそれぞれの前の画像)を表示することへ移行する。一部の実施形態では、デバイス100は、代表画像652及び/又は代表画像の後に取得された画像のうちの1つ以上を最初の画像654へクロスフェードする及び/又はぼかす。
別の例として、図表656では、デバイス100は、代表画像652を最初に表示する。ユーザ入力648に応じて、デバイス100は、代表画像652の表示を、最初の画像654(又は任意の他のそれぞれの前の画像)の表示と置き換える。図6A〜図6Oを参照して説明した実施形態のいずれかによれば、次いで、デバイス100は、画像シーケンスを最初の画像654から順方向に再生する(例えば、続くループにおいて、音、メタデータなどと共に拡張写真を最初から最後までループする)。このようにして、デバイス100は、代表画像652を表示することから最初の画像654を直接表示することへ移行する。一部の実施形態では、デバイス100は、代表画像652を最初の画像654へクロスフェードする及び/又はぼかす。
一部の実施形態では、図表656に示すように、代表画像652を表示することから最初の画像654(例えば、それぞれの前の画像)を表示することへ移行することは、代表画像652を取得した後にカメラが取得した1つ以上の画像のいずれかを表示することを含まない(例えば、デバイスは、最初の画像654にまっすぐに戻る)。
一部の実施形態では、デバイス100は、ユーザ入力648の特性(例えば、第1の入力648の第1の部分の特性接触強度)に基づいて、どちらの移行(例えば、図表650に示す移行又は図表656に示す移行)を適用するかを判定する。例えば、強度図668−2に示すように、第1の入力648の第1の部分が深い押圧閾値ITDを超えた場合、デバイス100は、図表656に従って移行する。強度図668−1に示すように、第1の入力648の第1の部分が深い押圧閾値ITDを超えない場合、デバイス100は、図表650に従って移行する。
一部の実施形態では、画像シーケンスの取得の間に取得された特定の画像は、画像シーケンスを生成する際に外される又は融合される。例えば、不鮮明な画像を画像シーケンスから外される(例えば、含めない)及び/又は画像シーケンスにおける画像の質を高めるために1つ以上の暗い画像を組み合わせる。一部の状況では、外した及び/又は融合した画像は、時間的に均等に離間していない画像シーケンスとなる。例えば、毎秒10枚の画像をカメラで取得したが、3つの画像を融合して、画像シーケンスにおける、それぞれの単一の画像を形成した場合、それぞれ単一の画像の時間経過は、画像シーケンスにおける他の画像よりも大きい。よって、一部の実施形態では、画像シーケンス内の画像の除去及び/又は融合に応じて、画像シーケンスの再生の時間が再調整される(例えば、上述の例では、画像シーケンスを1x再生で再生する場合、デバイス100は、0.3秒、すなわち、本来よりも3倍長く、それぞれ単一の画像に留まる)。
一部の実施形態によれば、図6Y〜図6BBは、画像シーケンス(例えば、拡張写真)における第1の画像を最初に表示するユーザインタフェースを示す。ユーザインタフェースは、ユーザ入力の接触の強度に従って、閾値を上回る強度範囲は、画像シーケンスを通る順方向の移動レートに対応づける一方、閾値を下回る強度範囲は、画像シーケンスを通る逆方向の移動レートに対応づける仕方で、画像シーケンスを順方向及び逆方向に再生する。一部の実施形態では、ユーザインタフェースは、画像シーケンスをループしない。そのため、最初の画像が表示された場合、閾値を上回る強度の接触によって、画像が接触強度に比例するレートで順方向に再生され、最後の画像に到達した場合、停止する。ユーザが、接触強度が閾値を下回るまで降下するように接触を軽くした場合、デバイスは、画像を接触強度に基づくレートで逆方向に再生し、最初の画像に到達した場合に停止する。
図6Yは、ユーザインタフェース640を示す。一部の実施形態では、ユーザインタフェース640は、ロック画面ユーザインタフェースである。例えば、ユーザが、デバイス100に対して不用意に操作を行う(例えば、間違って誰かに電話をかける)ことなく、デバイス100をユーザのポケットに入れることができるように、ユーザはデバイス100をロックできる。一部の実施形態では、ユーザがデバイス100を(例えば、なんらかのボタンの押圧によって)ウェイクアップした場合、ロック画面ユーザインタフェース640が表示される。一部の実施形態では、タッチスクリーン112上でのスワイプジェスチャによって、デバイス100のロック解除のプロセスが開始する。
ポータブル多機能デバイス100は、ユーザインタフェース640において、グループ化された画像シーケンス602における代表画像602−1を表示する。一部の実施形態では、画像シーケンス602は、ユーザがロック画面用に選んだ(例えば、設定ユーザインタフェースで選んだ)拡張写真である。図6Y〜図6BBに示す例では、画像シーケンスは、猫612が歩いて視界に入り、地面に寝転ぶシーンを描く拡張写真である。それと同時に、小鳥614が木の枝に止まる。一部の実施形態では、画像シーケンスは、代表画像を取得した後に取得された1つ以上の画像を含む(例えば、代表画像602−1は、画像シーケンスにおける最初の画像である)。
一部の実施形態では、ユーザインタフェース640はまた、時間及び日付情報などのクイックアクセス情報642を含む。
代表画像602−1をタッチスクリーン112上に表示する間に、デバイス100は、タッチスクリーン112上への接触の特性強度が強度閾値を超える入力644(例えば、長押しジェスチャ)を検出する。この例では、強度閾値は、軽い押圧閾値ITLである。強度図618(図6Y)に示すように、入力644は、軽い押圧閾値ITLを超える接触を含む。
接触の特性強度が増加したことを検出したことに応じて、デバイスは、代表画像602−1を取得した後に取得した1つ以上の画像間を、入力644の接触の特性強度に少なくとも部分的に基づいて決定されたレートで、時系列で進む。そのため、例えば、代表画像602−1(図6Y)の表示は、強度図618(図6Y)に示す接触強度に基づくレート図646(図6Y)で示されたレートの、画像602−2(図6Z)の表示と置き換えられる。画像602−2は、代表画像602−1の後に取得された画像シーケンス602における画像である。画像602−2(図6Z)の表示は、強度図618(図6Z)に示す接触強度に基づくレート図646(図6Z)で示されたより速いレートの、画像602−3(図6AA)の表示と置き換えられる。画像602−3は、画像602−2の後に取得された画像シーケンス602における画像である。
図6AAでは、入力644の接触の強度は、ITLを下回るまで低下し、ITLは、この例において、画像シーケンス602間を逆方向又は順方向に再生するための閾値である。その結果、画像602−3(図6AA)は、入力644の現在の接触強度に基づく後退レートで、以前の画像602−2(図6BB)と置き換えられる。
一部の実施形態では、レート図646(図6Y〜図6AA)に示されているレートは、ITLと強度図618(図6Y〜図6AA)に示すような入力644の現在の接触強度との間の差の絶対値に比例する。移動の方向は、現在の接触強度が、ITL(又は任意の他の適切な閾値)を上回る(例えば、順方向の移動)か下回る(例えば、逆方向の移動)かに基づく。
一部の実施形態では、順方向又は逆方向のレートは、リアルタイム又は準リアルタイムで決定され、その結果、ユーザは、接触の特性強度を変化させることによって、画像間の移動を(順方向又は逆方向のいずれかに)加速又は減速できる。よって、一部の実施形態では、ユーザは、ユーザ入力644の接触強度を増加及び減少することによって、(例えば、画像シーケンスにおける最初の画像と最後の画像との間で)画像シーケンス602間を順方向及び逆方向にスクラブできる。
一部の実施形態によれば、図6CC〜図6DDは、どのように移動レートVが入力644の現在の接触強度Iに関連しているかを示すグラフである。
図6CCに示すように、順方向/逆方向の移動のための閾値は、この例では、軽い押圧閾値ITLである。入力644の現在の接触強度が、軽い押圧閾値ITLに等しい場合、デバイス100は、時系列又は逆時系列のいずれにも画像シーケンス間を進まない。よって、デバイス100は、画像シーケンス602からの現在の表示画像を維持する(例えば、移動レートは0xに等しく、ここで、1xは、画像シーケンス602における画像が取得された速度である)。入力644の現在の接触強度が、軽い押圧閾値ITLをやや上回っている場合、デバイス100は、時系列で第1のレート(例えば、0.2x)で画像シーケンス間を進む。入力644の現在の接触強度が、同じ量だけ軽い押圧閾値ITLを下回っている場合、デバイス100は、逆時系列で第1のレート(例えば、−0.2xで進み、ここで、マイナス符号は、逆時系列又は逆方向再生を示す)で画像シーケンス間を進む。
この例では、デバイス100は、入力644の現在の接触強度が、深い押圧閾値ITD(又は任意の他の上限閾値)及びヒント閾値ITH(又は任意の他の適切下限閾値)にそれぞれ到達した場合に到達する、最大レートVmax(例えば、プラス又はマイナス2x)を有する。画像シーケンス間の移動レートは、接触がタッチ感知面上で検出されている間に、最大逆レートによって制約される。
図6DDは、例示的な応答曲線を示し、ここで、移動レートは、軽い押圧閾値ITLと深い押圧閾値ITDとの間において、0xからVmaxまで指数関数的に増進する。深い押圧閾値ITDを上回った場合、移動レートは一定である。
一部の実施形態によれば、特定の状況では、任意選択的に、デバイス100は、入力644の現在の接触強度だけに基づく移動レートから外れることになる。例えば、デバイス100が、画像シーケンス602間を順方向に進む間に、最後の画像に接近するにつれて、デバイス100は、移動レートを、入力644の現在の接触強度だけに基づくとした場合の移動レートよりも遅くする(例えば、デバイス100は、画像シーケンスの終わりに近づくにつれて、わずかに「ブレーキをかける」)。同様に、一部の実施形態では、デバイス100が、画像シーケンス602間を逆方向に進む間に、最初の画像に接近するにつれて、デバイス100は、移動レートを、入力644の現在の接触強度だけに基づくとした場合の移動レートよりも遅くする(例えば、デバイス100は、逆行して画像シーケンスの最初に近づくにつれて、わずかに「ブレーキをかける」)。
図6EE〜図6FFは、画像シーケンス602が、メッセージングアプリケーション(例えば、Apple Inc.(Cupertino,California)のMessages)のためのユーザインタフェース680において表示及び/又は再生される実施形態を示す。一部の実施形態では、画像シーケンス602は、メッセージングアプリケーションのスクロール可能領域682に表示されたメッセージ会話におけるメッセージである(例えば、ユーザは、上下にスクロールして、領域682において時間的に早い又は遅いメッセージを見ることができる)。一部の実施形態では、代表画像602−3は、メッセージングアプリケーション680において最初に表示される。一部の実施形態では、画像シーケンス602は、スワイプ/ドラッグジェスチャに応じて表示される(例えば、再生される)。一部の実施形態では、画像シーケンス602における画像の表示は、ドラッグジェスチャの位置によって制御される(例えば、ユーザは、ドラッグジェスチャを右又は左に移動することによって、それぞれ、画像シーケンス602において順方向又は逆方向にスクラブできる)。例えば、図6EE〜図6FFでは、接触686は、位置686−1(図6EE)から位置686−2(図6FF)まで移動し、その結果、画像シーケンス602が、代表画像602−3(図6EE)から画像602−4(図6FF)に進む。
一部の実施形態では、スワイプジェスチャによって、そのスワイプジェスチャが終了(例えば、リフトオフ)すると、画像シーケンス602の再生が誘発される。一部の実施形態では、画像シーケンス602は、ドラッグジェスチャの間には再生されないが、ドラッグジェスチャが終了(例えば、リフトオフ)すると再生される。一部の実施形態では、画像シーケンス602は、長押しジェスチャに応じて再生される(例えば、メッセージングアプリケーション680における画像シーケンス602は、図6A〜図6DDを参照して説明した実施形態のいずれかに従って再生される)。一部の実施形態では、メッセージングアプリケーション680における画像シーケンス602は、図7A〜図7CCを参照して説明した実施形態のいずれかに従って再生される。
一部の実施形態では、画像シーケンス602は、メッセージングアプリケーションのスクロール可能領域がスクロールされると表示(例えば、再生)され、画像には、一部の状況では、テキストメッセージ684又はメッセージングアプリケーションを介して送信及び受信される他のメッセージが(例えば、吹き出しにおいて)加えられる。一部の状況では、ユーザは、ユーザ自身のポータブル多機能デバイス100上でそれぞれの画像シーケンスを取得し(例えば、撮り、キャプチャし)、異なるユーザから異なる画像シーケンスを(例えば、メッセージングアプリケーションにおいて)受信したのであってもよい。よって、一部の状況では、ポータブル多機能デバイス100上に記憶された複数の画像シーケンスは、ポータブル多機能デバイス100上のカメラを使用して取得された少なくとも1つの画像シーケンスと、ポータブル多機能デバイス100とは異なる、別のデバイス上のカメラを使用して取得された少なくとも1つの画像シーケンスと、を含む。
図7A〜図7CCは、一部の実施形態に係る、関連画像シーケンス(拡張写真と呼ぶ場合もある)間をナビゲートするための例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図9A〜図9G、図10A〜図10M、図11A〜図11I、図12A〜図12B、図24A〜図24E、図25A〜図25C、図26A〜図26D及び図27A〜図27Eにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。以下の例は、(ポータブル多機能デバイス100上で示されているように、タッチ感知面とディスプレイとが組み合わされている)タッチスクリーンディスプレイ上の入力に関連して説明されるが、一部の実施形態において、デバイスは、図4Bに示すように、ディスプレイ450とは別個のタッチ感知面451上で入力を検出する。
ポータブル多機能デバイス100は、ユーザインタフェース700を表示する。ユーザインタフェース700は、任意選択的に、もう1つのツールバーを含む。例えば、図示のように、ユーザインタフェース700は、複数のアフォーダンス706(例えば、ユーザが、電子メール、メッセージング又は他のアプリケーションを使用して、第1の画像シーケンス702を他のユーザに送信できるようにする、送信アフォーダンス706−1;第1の画像シーケンス702を編集するためのユーザインタフェースを立ち上げる、編集アフォーダンス706−2;第1の画像シーケンス702がユーザのお気に入りのうちの1つであるとユーザが示し得る、お気に入りアフォーダンス706−3;及びユーザが第1の画像シーケンス702を削除できるようにする、削除アフォーダンス706−4)を含む操作ツールバー704を含む。別の例として、ユーザインタフェース700は、別の複数のアフォーダンス(例えば、ユーザの写真をナビゲートするためのユーザインタフェースへナビゲートする全写真アフォーダンス710−1;写真を取得するためのユーザインタフェースなどの異なるユーザインタフェースへナビゲートする「完了」アフォーダンス710−2)を含むナビゲーションツールバー706を含む。
図7A〜図7CCは、ポータブル多機能デバイス100が、複数の画像シーケンス(例えば、図7A〜図7CCの第1の画像シーケンス702、第2の画像シーケンス724、第3の画像シーケンス726及び第4のグループ化された画像シーケンス760)を記憶する例を示す。第1のグループ化された画像シーケンス702は、カメラが取得した第1の代表画像702−3(図7A)と、第1の代表画像702−3を取得した後にカメラが取得した1つ以上の画像(例えば、図7Cの画像702−4及び図7Dの画像702−5)と、第1の代表画像702−3を取得する前にカメラが取得した1つ以上の画像(例えば、図7Hの画像702−2及び図7Iの画像702−1)と、を含む。よって、第1の画像シーケンス702の時系列(例えば、カメラが画像を撮った順番)は、画像702−1、画像702−2、画像702−3、画像702−4及び画像702−5である。
第1の画像シーケンス702は、猫712が歩いてきて視界に入り、地面に寝転がり、立ち上がって歩み去るシーンを描いている。それと同時に、小鳥714が木の枝に止まる。実際には、このようなシーンが展開するのには数秒かかり得るが、一部の実施形態では、第1の画像シーケンス702は、短い時間窓でキャプチャされる。例えば、一部の実施形態では、本明細書で説明する画像シーケンスのいずれかは、それぞれの代表画像を取得した一瞬前後(例えば、半秒又は1秒内)の瞬間を描くことができる。例えば、ユーザは、猫712が草に寝転がった時に興味がかき立てられ、第1の代表画像702−3を撮る気になった場合もある。一部の実施形態では、第1の画像シーケンス702は、第1の代表画像702−3を取得した直前及び直後の画像を含んで、本明細書で説明するように、ユーザが第1の代表画像702−3に対して特定の操作を行った場合に瞬間が「動き出し」得る拡張写真を、第1の画像シーケンス702が含むようにする。
第2のグループ化された画像シーケンス724は、第2の代表画像724−3(図7F)と、第2の代表画像724−3を取得する前にカメラが取得した少なくとも1つ以上の画像(例えば、図7Cの画像724−1及び図7Dの画像724−2)と、を含む。第2の画像シーケンス724は、第2の代表画像724−3を取得した後にカメラが取得した1つ以上の画像を含む。よって、第2の画像シーケンス724の時系列(例えば、カメラが画像を撮った順番)は、画像724−1、画像724−2及び画像724−3である。第2の画像シーケンス724は、カモメ728が遠くを飛んでおり(図7Cの画像724−1)、前景に向かって飛んできて(図7Dの画像724−2)、再び飛び去り始める(図7Fの画像724−3)シーンを描く。
第3のグループ化された画像シーケンス726は、第3の代表画像726−1と、第3の代表画像726−1を取得した後にカメラが取得した少なくとも1つ以上の画像(例えば、図7Hの画像726−3及び図7Iの画像724−2)と、を含む。第3の画像シーケンス726は、第3の代表画像726−1を取得する前にカメラが取得した1つ以上の画像を含む。よって、第3の画像シーケンス726の時系列(例えば、カメラが画像を撮った順番)は、画像726−1、画像726−2及び画像726−3である。第3の画像シーケンス726は、クジラ730が水面上に躍り上がり(図7Kの画像726−1)、視界内でボート732と並んで泳ぎ(図7Iの画像726−2)、海に潜り、視界から消える(図7Hの画像726−3)シーンを描く。
第4のグループ化された画像シーケンス760は、第4の代表画像760−3と、第4の代表画像760−1を取得する前にカメラが取得した少なくとも1つ以上の画像(例えば、図7Vの画像760−1及び図7Wの画像760−2)と、を含む。よって、第4の画像シーケンス760の時系列(例えば、カメラが画像を撮った順番)は、画像760−1、画像760−2及び画像760−3である。第4の画像シーケンス760は、花火の筒762が発射され(図7Vの画像760−1)、空を飛び(図7Wの画像760−2)、花火が開いた(図7Xの画像760−3)シーンを描く。
一部の実施形態では、第1の画像シーケンス702は、第2の画像シーケンス724の前にカメラが取得したものであり、第1の画像シーケンス702は、第3の画像シーケンス726の後にカメラが取得したものである。
一部の実施形態では、ユーザインタフェース700は、画像管理アプリケーション(例えば、Apple Inc.(Cupertino,California)のPhotos)におけるユーザインタフェースである。そのため、一部の実施形態では、第1の画像シーケンス702(及び/又は第2の画像シーケンス724、第3の画像シーケンス726など)を撮ったカメラは、ポータブル多機能デバイス100の一部(例えば、図1Aの撮像モジュール143と併せて光センサ164を備えるカメラ)である。一部の実施形態では、第1の画像シーケンス702は、ポータブル多機能デバイス100の一部ではないカメラで撮られた(例えば、第1の画像シーケンス702は、別のデバイスのカメラで撮られた後、ポータブル多機能デバイス100に転送された)。一部の実施形態では、第1の画像シーケンス702は、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて取得されている。一部の実施形態では、第1の代表画像702−3は、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、カメラが取得した代表画像に対応する。
一部の実施形態では、複数の画像シーケンスのうちの一部は、ポータブル多機能デバイス100を使用して取得されたものであり、複数の画像シーケンスのうちの一部は、異なるデバイス上のカメラで撮られた後にポータブル多機能デバイス100へ転送されたものである。例えば、一部の状況では、ユーザは、方法900/2600に関連して説明する画像シーケンスを複数のデバイス(例えば、ポータブル多機能デバイス100に加えて、タブレット、ラップトップ及び/又はデジタルカメラ)上で取得し(例えば、撮り、キャプチャし)、画像シーケンスをポータブル多機能デバイス100へ同期又は他の方法で転送し得る。
一部の実施形態では、ユーザインタフェース700は、メッセージングアプリケーション(例えば、Apple Inc.(Cupertino,California)のMessages)におけるユーザインタフェースである。一部の実施形態では、第1の画像シーケンス702は、メッセージングアプリケーションのスクロール可能領域に表示されたメッセージ会話におけるメッセージであり、第1の画像シーケンス702は、メッセージングアプリケーションのスクロール可能領域がスクロールされると表示され、画像には、一部の状況では、テキストメッセージ又はメッセージングアプリケーションを介して送信及び受信される他のメッセージが(例えば、吹き出しにおいて)加えられる。一部の状況では、ユーザは、ユーザ自身のポータブル多機能デバイス100上でそれぞれの画像シーケンスを取得し(例えば、撮り、キャプチャし)、異なるユーザから異なる画像シーケンスを(例えば、メッセージングアプリケーションにおいて)受信したのであってもよい。よって、一部の状況では、ポータブル多機能デバイス100上に記憶された複数の画像シーケンスは、ポータブル多機能デバイス100上のカメラを使用して取得された少なくとも1つの画像シーケンスと、ポータブル多機能デバイス100とは異なる、別のデバイス上のカメラを使用して取得された少なくとも1つの画像シーケンスと、を含む。
一部の実施形態では、代表画像702−3は、ユーザインタフェース700に表示される(例えば、ユーザがユーザの画像又はメッセージ間をスクロールする場合に画像管理アプリケーション又はメッセージングアプリケーションに表示される)。
図7Aは、ユーザインタフェース700を示す。ポータブル多機能デバイス100は、ユーザインタフェース700において、タッチスクリーン112上の移動可能な第1のエリア734に第1の代表画像702を表示する。移動可能な第1のエリア734の境界は、タッチスクリーン112上に常に表示されるものではなく、図面の説明を助けるために提供されていることを理解されたい。
図7Bは、タッチスクリーン112上の(位置736−1で開始する)ドラッグジェスチャ736を検出するポータブル多機能デバイス100を示す。一部の実施形態では、ドラッグジェスチャ736が既定の基準(例えば、既定の次の拡張写真ナビゲーション基準)を満たしているという判定に従って、図7B〜図7Kに示す動作が行われる。例えば、一部の実施形態では、図7B〜図7Fに示す動作は、ドラッグジェスチャ736が既定の経路特性を有する(例えば、ドラッグジェスチャ736は、横(又は縦)の速度によって特徴付けられる、つまり、ドラッグジェスチャが、図7A〜図7CCに示す向きにおいて、上下(又は左右)よりも左右(又は上下)である)場合に行われる(例えば、誘発される)。一部の実施形態では、ポータブル多機能デバイス100は、タッチスクリーン112との接触の強度を検出する1つ以上のセンサを含み、ドラッグジェスチャ736が、既定の強度基準を満たす(例えば、満足する)特性強度を有する場合(例えば、本明細書の他のところで述べたように、軽い押圧閾値ITLを超えた場合)、図7B〜図7Fに示す動作が行われる(例えば、誘発される)。一部の実施形態では、図7B〜図7Fに示す動作は、ドラッグジェスチャ736が既定の経路特性を有し(例えば、ドラッグジェスチャ736が、横の速度によって特徴付けられ)、かつ既定の強度基準を満たす(例えば、既定の強度閾値を超える)場合に行われる(例えば、誘発される)。
ユーザインタフェース700は、図7Aに示すように、画像提示モードにおいて、第1の代表画像702−3の表示を示す。一部の実施形態では、図7Aに示すように、移動可能な第1のエリア734は、第1の画像シーケンス以外の画像シーケンスからの画像を表示せずに、第1の画像シーケンスにおける画像を表示するエリアである。
図7Bでは、ドラッグジェスチャ736は左方向である。したがって、ポータブル多機能デバイス100は、図7C〜図7Dに示すように、第1のエリア734を左に移動する。加えて、ポータブル多機能デバイス100は、ユーザインタフェース700の移動可能な第1のエリア734において、第1の代表画像702−3の表示を、第1の代表画像702−3を取得した後にカメラが取得した第1の画像シーケンス702のための1つ以上の画像のうちの少なくとも一部の時系列表示(すなわち、図7Cの画像702−4及び図7Dの画像702−5)と置き換える。つまり、ポータブル多機能デバイス100は、第1のエリアにおいて第1の画像シーケンス702のアニメーション表示された表示を表示する。
一部の実施形態では、第1のエリア734における、第1の代表画像を取得した後にカメラが取得した第1の画像シーケンス702のための1つ以上の画像のうちの少なくとも一部の時系列表示は、ドラッグジェスチャ736における接触の移動に従って行われる。よって、ドラッグジェスチャ736の左への移動が加速した場合、第1のエリア734における画像の時系列進行の表示も加速する。ドラッグジェスチャ736の左への移動が減速した場合、第1のエリア734における画像の時系列進行の表示も減速する。ドラッグジェスチャ736の左への移動が停止した場合、第1のエリア734における画像の時系列進行の表示も停止する。そして、ドラッグジェスチャ736の移動が、(例えば、左方向のドラッグジェスチャから右方向のドラッグジェスチャに)方向を反転した場合、第1のエリア734における、第1の画像シーケンス702における画像の進行の表示も逆行し、画像は、逆方向のドラッグジェスチャ736の移動に従って逆時系列で示される。より一般的には、一部の実施形態では、それぞれの画像シーケンスでは、それぞれのエリアにおける、それぞれの画像シーケンスにおける画像の進行の表示は、ドラッグジェスチャにおける接触の移動に従って行われる。
一部の実施形態では、ユーザは、既定の方式でドラッグジェスチャ736の1つ以上の特性変えることによって、図6A〜図6FFに示す動作を誘発する。例えば、一部の実施形態では、ユーザがドラッグジェスチャ736を停止し、タッチスクリーン112上でより深く押圧した場合、ポータブル多機能デバイス100は、ディスプレイ上に第1のエリア734の一部分だけがある場合でさえ、図6A〜図6FFを参照して説明したように、第1の画像シーケンス702を再生する。一部の実施形態では、ポータブル多機能デバイス100は、ドラッグジェスチャ736の1つ以上の特性の変化又は修正を検出するように構成される。
図7C〜図7Dはまた、一部の実施形態では、左方向のドラッグジェスチャ736に従って、ポータブル多機能デバイス100が第2のエリア738を左に移動することを示す。一部の実施形態では、第2のエリア738を左に移動することは、第2のエリア738の少なくとも一部分を左からタッチスクリーン112内へ移動することを含む。一部の実施形態では、移動可能な第2のエリア738は、第2の画像シーケンス724以外の画像シーケンスから画像を表示せずに、第2の画像シーケンス724における画像を表示するエリアである(例えば、第1の画像シーケンス702及び第3の画像シーケンス726は、移動可能な第2のエリア738に表示されない)。一部の実施形態では、図7Cに示すように、移動可能な第2のエリア738は、移動可能な第1のエリア734に(例えば、移動可能な第1のエリア734の右に)隣接する。一部の実施形態では、第2のエリア738を左に移動する間に、ポータブル多機能デバイス100は、第2のエリア738において、第2の代表画像724−3を取得する前にカメラが取得した第2の画像シーケンス724のための1つ以上の画像のうちの少なくとも一部を時系列で表示する。
一部の実施形態では、第1のエリア734の移動は、ドラッグジェスチャ736の移動に対応する。例えば、一部の実施形態では、図7Bと図7Cとの間における第1のエリア734の移動は、位置736−1(図7B)と736−2(図7C)との間の距離に比例する。同様に、一部の実施形態では、図7Cと図7Dとの間における第1のエリア734の移動は、位置736−2(図7C)と736−3(図7D)との間の距離に比例し、これにより、移動可能な第1のエリア734を引っ張っている印象をユーザに与える。一部の実施形態では、図7C〜図7Dに示すように、第1のエリア734を左に移動することは、第1のエリア734の少なくとも一部分を左にタッチスクリーン112外へ移動することを含む。
一部の実施形態では、図7B〜図7Dに示すように、第1のエリア734及び第2のエリア738は、タッチスクリーン112中を同じレートで移動する(例えば、第1のエリア734の移動距離と第2のエリア738移動距離とは、ドラッグジェスチャ736の移動距離に対応する)。一部の実施形態では、図7L〜図7Pに示すように、第1のエリア734及び第2のエリア738は、異なるレートで移動する。例えば、図7L〜図7Pでは、ドラッグジェスチャ752に応じた第2のエリア738の移動は、ドラッグジェスチャ752に応じた第1のエリア734の移動よりも小さい(例えば、第1のエリア734の移動距離は、ドラッグジェスチャ752の移動距離と一致し、第2のエリア738の移動距離は、ドラッグジェスチャ752の移動距離50%などの一部である)。
一部の実施形態では、第2のエリア738における、第2の代表画像724−3を取得する前にカメラが取得した第2の画像シーケンス724のための1つ以上の画像のうちの少なくとも一部の時系列表示は、ドラッグジェスチャ736における接触の移動に従って行われる(例えば、第1の画像シーケンス702に関して上述したのと類似の仕方で)。例えば、ドラッグジェスチャ736の間、第1のエリア734における画像及び第2のエリア738における画像は、両方とも、ドラッグジェスチャ736の移動に基づくレートと同じレートで進む。一部の実施形態では、例えば、以下に図7L〜図7Pを参照して説明するように、ドラッグジェスチャ752の間、第1のエリア734における画像及び第2のエリア738における画像を異なるレートで進める。例えば、図7L〜図7Pでは、ドラッグジェスチャ752に応じた、画像が第2のエリアで進むレートは、ドラッグジェスチャ752に応じた、画像が第1のエリア734で進むレートよりも小さい(例えば、ドラッグジェスチャ752に応じた、画像が第1のエリア734で進むレートの50%)。
一部の実施形態では、図7B〜図7Dに示す例の代替として、第2のエリア738を左に移動する間に、第2のエリア738は、第2の画像シーケンス724における他の画像を表示せずに、第2の画像シーケンスのための第2の代表画像724−3だけを表示する。
一部の実施形態では、ユーザインタフェース700は、次へアイコン750−1(例えば、図7A)と前へアイコン750−2とを含む。一部の実施形態では、第1の方向へのドラッグジェスチャの検出と同様に、次へアイコン750−1のアクティブ化を検出することによっても、第1の画像シーケンス702からの画像を第1のエリア734にアニメーション表示し、第2の画像シーケンス724からの画像を第2のエリア738にアニメーション表示する。一部の実施形態では、次へアイコン750−1のアクティブ化を検出することにより、第1の画像シーケンス702からの画像を第1のエリア734にアニメーション表示せずに、かつ第2の画像シーケンス724からの画像を第2のエリア738にアニメーション表示せずに、第2の代表画像724−3の表示が、第1の代表画像702−3の表示に置き換わる。一部の実施形態では、次へアイコン750−1のアクティブ化を検出することにより、第1の画像シーケンス又は第2の画像シーケンスにおける他の画像を表示せずに、第2の代表画像724−3の表示が、第1の代表画像702−3の表示に置き換わる。
図7B〜図7Dで行われる動作は、ドラッグジェスチャ736の左/右の移動に関連して説明されているが、類似の動作が、ドラッグジェスチャの上/下の移動に関連して想定されており、特段の指定の無い限り、特許請求の範囲内に含まれると意図されている。例えば、一部の実施形態では、図7B〜図7Dに示す例の代替として、第2のエリア738を左方向にタッチスクリーン112内へ移動するのではなく、ドラッグジェスチャ736が左方向又は下方向のジェスチャである場合、第2のエリア738は、Zレイヤ(手前−奥)オーダーで第1のエリア734の下にあり、第1のエリア734が左に(又は底部に向けて)タッチスクリーン112外へ移動すると、第2のエリア738が現れる(例えば、見えるようになる)。
図7Fに示すように、一部の実施形態では、第2のエリア738を左に移動した後、図7B〜図7Dに関連して説明したように、ポータブル多機能デバイス100は、第2の代表画像724−3をユーザインタフェース700に表示する。一部の実施形態では、第2の代表画像724−3の表示は、図7E〜図7Fに関連して以下に説明される動作に従って行われる。
図7Eに示すように、一部の実施形態では、ポータブル多機能デバイス100は、第1のエリア734及び第2のエリア738を移動する間に、ドラッグジェスチャ736の終了(例えば、リフトオフ)を検出する。これに応じて、ポータブル多機能デバイス100は、ドラッグジェスチャ736が次シーケンスナビゲーション基準を満たすかどうかを判定する。例えば、一部の実施形態では、次シーケンスナビゲーション基準は、第1のエリア734の移動が、第1のエリア734がタッチスクリーン112の半分を過ぎた(例えば、第1のエリア734の中間点がタッチスクリーン112外へ移動した)場合に、満たされる。一部の実施形態では、図7Eに示すように、次シーケンスナビゲーション基準は、第1のエリア734の移動及び第2のエリア738の移動が、第1のエリア734と第2のエリア738との間の境界740がタッチスクリーン112の中間点742(又はタッチスクリーン112内で中心ではなくても、ユーザインタフェース700の中間点、若しくはユーザインタフェース700を横切る3分の1又は4分の1などの任意の他の適切な既定の点)を過ぎた場合に、満たされる。一部の実施形態では、次シーケンスナビゲーション基準は、ドラッグジェスチャ736の速度が既定の速度基準を満たす場合(例えば、ドラッグジェスチャ736の平均速度又は瞬間速度が速度閾値を超えた場合)に満たされる。一部の実施形態では、次シーケンスナビゲーション基準は、ドラッグジェスチャ736の速度が「フリック」ジェスチャを示す場合に満たされる。
図7Fに示すように、次シーケンスナビゲーション基準が満たされた場合、ポータブル多機能デバイス100は、第1のエリア734を完全にタッチスクリーン112外へ移動し(例えば、第1のエリア734を更に左に、第1のエリア734が完全にタッチスクリーン112外となるまで移動することによって)、第2のエリア738を完全にタッチスクリーン112内へ移動する(例えば、第2のエリア738を更に左に、第2のエリア738が完全にタッチスクリーン112内となるまで移動することによって)。その結果、ポータブル多機能デバイス100は、第2の代表画像724−3を表示する(図7F)。このようにして、一部の実施形態では、次シーケンスナビゲーション基準を満たした場合にドラッグジェスチャ736を終了することにより、第2の代表画像724−3がユーザインタフェース700上にスナップされる印象をユーザに与える。
反対に、一部の実施形態では、次シーケンスナビゲーション基準が満たされていない場合、ポータブル多機能デバイス100は、第2のエリア738を完全にタッチスクリーン112外へ移動し(例えば、第2のエリア738を右に、第2のエリア738が完全にタッチスクリーン112外となるまで移動することによって)、第1のエリア734を完全にタッチスクリーン112内へ移動する(例えば、第1のエリア734を右に、第1のエリア734が完全にタッチスクリーン112内となるまで移動して戻すことによって)。その結果、ポータブル多機能デバイス100は、第1の代表画像702−3を再度表示する(例えば、図7Aに示すビューに戻る)。このようにして、一部の実施形態では、次シーケンスナビゲーション基準が満たされていない場合にドラッグジェスチャ736を終了することにより、第1の代表画像702−3がユーザインタフェース700上にスナップされて戻る印象をユーザに与える。一部の実施形態では、ポータブル多機能デバイス100が第1のエリア734を完全にタッチスクリーン112内へ移動し、第2のエリア738を完全にタッチスクリーン112外へ移動する間に、第1の画像シーケンス702及び第2の画像シーケンス724は、逆方向に(例えば、逆時系列で)表示される。
図7G〜図7Kは、図7B〜図7Fに類似の特徴を示すが、図7B〜図7Fは、一部の実施形態に係る、次シーケンスナビゲーションを示し、図7G〜図7Kは、一部の実施形態に係る、前シーケンスナビゲーションを示すことが異なる。
図7Gは、タッチスクリーン112上の(位置744−1で開始する)ドラッグジェスチャ744を検出するポータブル多機能デバイス100を示す。一部の実施形態では、ドラッグジェスチャ744が既定の基準(例えば、既定の前の写真ナビゲーション基準)を満たしているという判定に従って、図7G〜図7Kに示す動作が行われる。一部の実施形態では、前の写真(例えば、前のグループ化された画像シーケンス)に向けてナビゲートするための既定の基準は、図7B〜図7Fを参照して説明した、次の写真(例えば、次のグループ化された画像シーケンス)に向けてナビゲートするための既定の基準に類似するが、この2つのそれぞれのドラッグジェスチャが、概反対方向を向く(又は少なくとも原則として反対方向を向く)ことが異なる。
図7Gは図7Bに類似するが、ドラッグジェスチャ744が、ポータブル多機能デバイス100が第1の代表画像702−3を表示する間のドラッグジェスチャ736(図7B)の反対方向であることが異なる。つまり、図7Gでは、ドラッグジェスチャ744は右方向である。したがって、ポータブル多機能デバイス100は、図7H〜図7Iに示すように、第1のエリア734を右に移動する。加えて、ポータブル多機能デバイス100は、ユーザインタフェース700の移動可能な第1のエリア734において、第1の代表画像702−3の表示を、第1の代表画像702−3を取得する前にカメラが取得した第1の画像シーケンス702のための1つ以上の画像のうちの少なくとも一部の逆時系列表示(すなわち、図7Hの画像702−2及び図7Iの画像702−1)と置き換える。一部の実施形態では、図7B〜図7Fを参照して上述したように、それぞれの画像シーケンスでは、それぞれのエリアにおける、それぞれの画像シーケンスにおける画像の進行の表示は、ドラッグジェスチャにおける接触の移動(例えば、図7Gの位置744−1から図7Hの位置744−2へ、図7Iの位置744−3への移動)に従って行われる。
図7H〜図7Iはまた、一部の実施形態では、右方向のドラッグジェスチャ744に従って、ポータブル多機能デバイス100が第3のエリア746を右に移動することを示す。一部の実施形態では、第3のエリア746を右に移動することは、第3のエリア746の少なくとも一部分を右方向にタッチスクリーン112内へ移動することを含む。一部の実施形態では、移動可能な第3のエリア746は、第3の画像シーケンス726以外の画像シーケンスから画像を表示せずに、第3の画像シーケンス726における画像を表示するエリアである(例えば、第1の画像シーケンス702及び第2の画像シーケンス724は、移動可能な第3のエリア746に表示されない)。一部の実施形態では、図7Hに示すように、移動可能な第3のエリア746は、移動可能な第1のエリア734に(例えば、移動可能な第2のエリア738の反対側の、移動可能な第1のエリア734に左に)隣接する。一部の実施形態では、第3のエリア746を右に移動する間に、ポータブル多機能デバイス100は、第3のエリア746において、第3の代表画像726−1を取得する前にカメラが取得した第3の画像シーケンス726のための1つ以上の画像のうちの少なくとも一部を逆時系列で表示する。
一部の実施形態では、第3のエリア746における、第3の代表画像726−1を取得した後にカメラが取得した第3の画像シーケンス726のための1つ以上の画像のうちの少なくとも一部の逆時系列表示は、ドラッグジェスチャ744における接触の移動に従って行われる(例えば、第1の画像シーケンス702に関して上述したのと類似の仕方で)。例えば、ドラッグジェスチャ744の間、第1のエリア734における画像及び第3のエリア746における画像は、両方とも、ドラッグジェスチャ744の移動に基づくレートと同じレートで逆行する。
一部の実施形態では、第2の方向へのドラッグジェスチャ744の検出と同様に、前へアイコン750−2(図7A)のアクティブ化を検出することによって、第1のシーケンス702からの画像を第1のエリア734にアニメーション表示し、第3のシーケンス726からの画像を第3のエリア744にアニメーション表示する。一部の実施形態では、前へアイコン750−2のアクティブ化を検出することにより、第1のシーケンス702からの画像を第1のエリア734にアニメーション表示せずに、かつ第3のシーケンス726からの画像を第3のエリア744にアニメーション表示せずに、第3の代表画像726−1の表示が、第1の代表画像702−3の表示に置き換わる。一部の実施形態では、前へアイコン750−2のアクティブ化を検出することにより、第1のシーケンス702又は第3のシーケンス726における他の画像を表示せずに、第3の代表画像726−1の表示が、第1の代表画像702−3の表示に置き換わる。
一部の実施形態では、図7G〜図7Iに示す例の代替として、ドラッグジェスチャ744に応じて第3のエリア746を右に移動する間に、第3のエリア746は、第3の画像シーケンス726における他の画像を表示せずに、第3の画像シーケンス726のための第3の代表画像726−1だけを表示する。
図7G〜図7Iで行われる動作は、ドラッグジェスチャ744の左/右の移動に関連して説明されているが、類似の動作が、ドラッグジェスチャの上/下の移動に関連して想定されており、特段の指定の無い限り、特許請求の範囲内に含まれると意図されている。例えば、一部の実施形態では、図7G〜図7Iに示す例の代替として、第3のエリア746を左にタッチスクリーン112内へ移動するのではなく、ドラッグジェスチャ744が右方向又は上方向のジェスチャである場合、第3のエリア746は、Zレイヤ(手前−奥)オーダーで第1のエリア734の下にあり、第1のエリア734が右に(又は上部に向けて)タッチスクリーン112外へ移動すると、第3のエリア746が現れる(例えば、見えるようになる)。
図7Kに示すように、一部の実施形態では、第3のエリア746を右に移動した後、図7G〜図7Iに関連して説明したように、ポータブル多機能デバイス100は、第3の代表画像726−1をユーザインタフェース700に表示する。一部の実施形態では、第3の代表画像726−1の表示は、図7J〜図7Kに関連して以下に説明される動作に従って行われる。
図7Jに示すように、一部の実施形態では、ポータブル多機能デバイス100は、第1のエリア734及び第3のエリア746を移動する間に、ドラッグジェスチャ744の終了(例えば、リフトオフ)を検出する。これに応じて、ポータブル多機能デバイス100は、ドラッグジェスチャ744が前シーケンスナビゲーション基準を満たすかどうかを判定する。例えば、一部の実施形態では、前シーケンスナビゲーション基準は、第1のエリア734の移動が、第1のエリア734がタッチスクリーン112の半分を過ぎた(例えば、第1のエリア734の中間点がタッチスクリーン112外へ移動した)場合に、満たされる。一部の実施形態では、図7Jに示すように、前シーケンスナビゲーション基準は、第1のエリア734の移動及び第3のエリア746の移動が、第1のエリア734と第3のエリア746との間の境界748がタッチスクリーン112の中間点742(又はタッチスクリーン112内で中心ではなくても、ユーザインタフェース700の中間点、若しくは任意の他の適切な既定の点)を過ぎた場合に、満たされる。
図7Kに示すように、前シーケンスナビゲーション基準が満たされた場合、ポータブル多機能デバイス100は、第1のエリア734を完全にタッチスクリーン112外へ移動し(例えば、第1のエリア734を更に右に、第1のエリア734が完全にタッチスクリーン112外となるまで移動することによって)、第3のエリア746を完全にタッチスクリーン112内へ移動する(例えば、第3のエリア746を更に右に、第3のエリア746が完全にタッチスクリーン112内となるまで移動することによって)。その結果、ポータブル多機能デバイス100は、第3の代表画像726−1を表示する(図7K)。このようにして、一部の実施形態では、前シーケンスナビゲーション基準を満たした場合にドラッグジェスチャ744を終了することにより、第3の代表画像726−1がユーザインタフェース700上にスナップされる印象をユーザに与える。
反対に、一部の実施形態では、前シーケンスナビゲーション基準が満たされていない場合、ポータブル多機能デバイス100は、第3のエリア746を完全にタッチスクリーン112外へ移動し(例えば、第3のエリア746を左に、第3のエリア746が完全にタッチスクリーン112外となるまで移動することによって)、第1のエリア734を完全にタッチスクリーン112内へ移動する(例えば、第1のエリア734を左に、第1のエリア734が完全にタッチスクリーン112内となるまで移動して戻すことによって)。その結果、ポータブル多機能デバイス100は、第1の代表画像702−3を再度表示する(例えば、図7Aに示すビューに戻る)。このようにして、一部の実施形態では、前シーケンスナビゲーション基準が満たされていない場合にドラッグジェスチャ744を終了することにより、第1の代表画像702−3がユーザインタフェース700上にスナップされて戻る印象をユーザに与える。一部の実施形態では、ポータブル多機能デバイス100が第1のエリア734を完全にタッチスクリーン112内へ移動し、第3のエリア746を完全にタッチスクリーン112外へ移動する間に、第1の画像シーケンス702及び第3の画像シーケンス726は、順方向に(例えば、時系列で)表示される。
図7L〜図7Pは、ドラッグジェスチャ752に応じて、第1のエリア734及び第2のエリア738が異なるレートでタッチスクリーン112上を移動する実施形態を示す。図7Lは、図7Aに類似しており、図7M〜図7Pに示す機能のための開始点として提供されている。図7M〜図7Oに示すように、ドラッグジェスチャ752は、位置752−1(図7M)から、位置752−2(図7N)へ、位置752−3(図7O)へと移動する。一部の実施形態では、第1のエリア734の移動は、ドラッグジェスチャ752の移動に対応する。例えば、ドラッグジェスチャ752が1センチメートル(cm)移動する場合、第1のエリア734は、1cmだけ移動する。一部の実施形態では、第2のエリア738は、ドラッグジェスチャ752の移動に基づいて移動するが、第2のエリア738の移動距離は、ドラッグジェスチャ752の移動距離よりも小さい。例えば、ドラッグジェスチャ752が1センチメートル(cm)移動する場合、第2のエリア738は、0.5cmだけ移動する。
この例では、第1のエリア734は、(例えば、Zレイヤにおいて)第2のエリア738の上にあって、ドラッグジェスチャ752に応じて第1のエリア734がタッチスクリーン112外へ移動するにつれて、第2のエリア738が次第に現れるようにする。ドラッグジェスチャ752の最初は、第2のエリア738は、部分的にタッチスクリーン112内にあるが、完全には入っていない(例えば、タッチスクリーン112の半分又は4分の3)。ユーザが、第1のエリア734を右方向にタッチスクリーン112外へスライドさせると、第2のエリア738は、残りをタッチスクリーン112内へスライドして、第1のエリア734を完全にタッチスクリーン112外へスライドすることが、第2のエリア738を完全にタッチスクリーン112内へスライドすることに対応するようにする。第1のエリア734を、第2の738がタッチスクリーン112内へ移動するレートとは異なるレートでタッチスクリーン112外へ移動することによって、拡張写真の階層(例えば、Zレイヤ)においてユーザがナビゲートする方向に関する直観的な視覚的合図をユーザに提供する。
一部の実施形態では、ドラッグジェスチャ752の間、第1のエリア734における画像及び第2のエリア738における画像は、異なるレートで進む。一部の実施形態では、第1のエリア734における画像及び第2のエリア738における画像が進むそれぞれのレートは両方とも、ドラッグジェスチャ752の移動に基づく。一部の実施形態では、第1のエリア734における画像は、第2のエリア738における画像が進むレートよりも高いレートで進む。図7M〜図7Pでは、第1のエリア734における画像は、ドラッグジェスチャ752に応じて、第2のエリア738における画像のレートの2倍で進む。例えば、図7N〜図7Oに示すように、同じ期間の間、第1のエリア734は、第1の画像シーケンス702における2つの画像(図7Nの702−4及び図7Oの702−5)間を進み、その際、第2のエリア738は、第2の画像シーケンスにおける単一の画像(図7N及び図7Oの724−2)の表示を維持する。図7Pは、第2のエリア738が代表画像724−3の表示に進んだことを示す。
図7Q〜図7CCは、デバイス100が拡張写真をディスプレイ内へスライドする実施形態を示す。拡張写真がディスプレイ内へスライドすると、デバイス100は、拡張写真を含む画像シーケンスを(例えば、最初の画像から代表画像まで)時系列で再生する。一部の実施形態では、上述のように、新しい拡張写真をディスプレイ内へスライドすることにより、現在表示されている拡張写真が変位する。例えば、拡張写真をディスプレイ内へスライドすることにより、現在表示されている拡張写真をディスプレイ外へスライドする。別の例として、拡張写真をディスプレイ内へスライドすることにより、現在表示されている拡張写真を(例えば、Z方向に)覆ってしまう。一部の実施形態では、現在表示されている拡張写真は、変位させられる間には再生しない(例えば、デバイスは、現在表示されている拡張写真ではなく代表画像の表示を維持する)。一部の実施形態では、拡張写真は、(例えば、カメラロールにおける)次の拡張写真であるか前の拡張写真であるかに関わらず、順方向に再生する。
そのため、図7Qは、第1の画像シーケンス702の第1の代表画像702−3をタッチスクリーン112上の移動可能な第1のエリア734に表示するデバイス100を示す。
図7Qに示すように、デバイスは、接触による左方向の移動を含むジェスチャ740(例えば、スワイプジェスチャ)をタッチスクリーン112上で検出する。図7Rに示すように、ジェスチャ740に応じて、デバイス100は、第1のエリア734を左方向にディスプレイ外へ移動し、かつ移動可能な第2のエリア738を左方向にディスプレイ内へ移動する(例えば、第2のエリア738は、第1のエリア734に隣接する移動可能なエリアである)。図7Rにおける矢印は、第2のエリア738をディスプレイ内へ移動し続けるジェスチャ740に由来する慣性を示す。この例では、ジェスチャ740が左であるため、ディスプレイ内へスライドする画像シーケンス(例えば、第2の画像シーケンス724)は、(例えば、カメラロールにおける)次の画像シーケンスである。
図7R〜図7Tに示すように、シーケンス表示基準が満たされたという判定に従って、第2のエリア738を左に移動する間に、デバイス100は、第2の代表画像724−3を取得する前にカメラが取得した第2の画像シーケンス724のための1つ以上の画像のうちの少なくとも一部を順方向に再生する。例えば、デバイス100は、第2の画像シーケンス724からの最初の画像724−1を表示することから開始する(図7R)。デバイス100は、第2の画像シーケンス724を(例えば、時系列で)最初の画像724−1から代表画像724−3まで再生する(図7S〜図7T)。一部の実施形態では、第2の画像シーケンス724の再生は、移動可能なエリア738がタッチスクリーン112内へちょうど移動し終えた時に代表画像724−3が現れるように時間を合わせてある(図7T)。
一部の実施形態では、シーケンス表示基準は、ナビゲーション基準(例えば、デバイス100が更なるユーザ入力がなくても次の写真又は前の写真に移行し終えるべきであると示す基準)を含む。例えば、デバイス100は、ユーザが次の画像シーケンス(例えば、第2の画像シーケンス724)に移行するために十分に素早くフリック及び/又は十分遠くにドラッグした場合、第2の画像シーケンス724間を再生するだけである。ナビゲーション基準は、図7Eを参照して既に詳述してある。
一部の実施形態では、第1のエリア734がディスプレイ外へスライドする時、デバイス100は、第1の代表画像702−3の表示を(例えば、第1の代表画像702−3の表示を置き換えずに静的に)維持し、その際、第2の画像シーケンス724の少なくとも一部分を再生する(例えば、第2の画像シーケンス724を再生する間に第1の画像シーケンス702は再生しない)。このようにして、代表画像702−3は、図7Q〜図7Sのそれぞれにおいて、第1のエリア734に表示される。
一部の実施形態では、右方向のスワイプ/ドラッグジェスチャにより、類似の機能が生じるが、(例えば、カメラロールにおける)次の拡張写真ではなく、(例えば、カメラロールにおける)前の拡張写真がディスプレイ内へスライドすることが異なる。例えば、図7Uでは、デバイス100は、スワイプジェスチャ742が右であることを除いてスワイプジェスチャ740に類似する、スワイプジェスチャ742を検出する。図7V〜図7Xでは、第4の画像シーケンス760(これは、この例では、カメラロールにおける前の拡張写真である)は、最初の画像760−1から代表画像760−3まで順方向に再生する。つまり、一部の実施形態では、スワイプ/ドラッグジェスチャが前の写真ナビゲーションジェスチャか次の写真ナビゲーションジェスチャかに関わらず、デバイス100は、(例えば、図7G〜図7Kを参照して上述したように、カメラロールにおける前の写真を逆行して再生するのではなく)拡張写真を順方向に再生する。図7U〜図7Xは、その他の点では図7Q〜図7Tに類似している。
図7Y〜図7CCに示すように、一部の実施形態では、シーケンス表示基準は、デバイス100がジェスチャのリフトオフを検出した場合に満たされる基準を含む(例えば、デバイス100は、ユーザがタッチスクリーン112からユーザの指をリフトオフした場合にのみ、新しい拡張写真の再生を開始する)。例えば、図7Yでは、デバイス100は、位置764−1においてドラッグジェスチャ764の開始を検出する。図7Zでは、ユーザは、ドラッグジェスチャ764を位置764−2に移動したところであり、それに従って、デバイス100は、第4の画像シーケンス760の最初の画像760−1を部分的にディスプレイ内へ移動したところである。図7AAでは、ユーザは、ドラッグジェスチャ764を位置764−3に更に移動したところであり、それに従って、デバイスは、第4の画像シーケンス760の最初の画像760−1をディスプレイ内へ更に先へ移動したところである。しかしながら、デバイス100は、ユーザがドラッグジェスチャ764をリフトオフするまで(図7BB)、第4の画像シーケンス760の再生を開始しない。この基準により、ユーザが拡張写真をディスプレイ内及び外へドラッグする際に、ユーザを過度に刺激せずに済む。図7CCに示すように、一部の実施形態では、ジェスチャのリフトオフに続く移動可能なエリアの再生及び/又は移動は、新しい拡張写真がちょうどディスプレイ内へスライドし終えた時に、新しい拡張写真の代表画像(例えば、第4の代表画像760−3)が再生の間に表示されるように時間を合わせる。
図8A〜図8Lは、一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う例示的なユーザインタフェースを示す図である。これらの図におけるユーザインタフェースは、図9A〜図9G、図10A〜図10M、図11A〜図11I、図12A〜図12B、図24A〜図24E、図25A〜図25C、図26A〜図26D及び図27A〜図27Eにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。以下の例は、(ポータブル多機能デバイス100上で示されているように、タッチ感知面とディスプレイとが組み合わされている)タッチスクリーンディスプレイ上の入力に関連して説明されるが、一部の実施形態において、デバイスは、図4Bに示すように、ディスプレイ450とは別個のタッチ感知面451上で入力を検出する。
図8A〜図8Lは、ポータブル多機能デバイス100が、複数の画像シーケンスを記憶する例を示し、複数の画像シーケンスのうちの1つは、(ユーザインタフェース800上に表示される)グループ化された画像シーケンス802である。ユーザインタフェース800の一部の特徴は、ユーザインタフェース600(図6A〜図6W)及びユーザインタフェース700(図7A〜図7CC)に類似し、簡潔にするためにここでは繰り返さない。画像シーケンス802は、カメラが取得した代表画像802−3(図8A)と、代表画像802−3を取得した後にカメラが取得した1つ以上の画像(例えば、図8Cの画像802−4及び図8Dの画像802−5)と、代表画像802−3を取得する前にカメラが取得した1つ以上の画像(例えば、図8Eの画像802−1及び図8Fの画像802−2)と、を含む。よって、画像シーケンス802の時系列(例えば、カメラが画像を撮った順番)は、画像802−1、画像802−2、画像802−3、画像802−4及び画像802−5である。
画像シーケンス802は、猫812が歩いてきて視界に入り、地面に寝転がり、立ち上がって歩み去るシーンを描いている。それと同時に、小鳥814が木の枝に止まる。実際には、このようなシーンが展開するのには数秒かかり得るが、一部の実施形態では、画像シーケンス802は、短い時間窓でキャプチャされる。例えば、一部の実施形態では、本明細書で説明する画像シーケンスのいずれかは、それぞれの代表画像を取得した一瞬前後(例えば、0.5、1.0、1.5、2.0又は2.5秒内)の瞬間を描くことができる。例えば、ユーザは、猫812が草に寝転がった時に興味がかき立てられ、代表画像802−3を撮る気になった場合もある。一部の実施形態では、画像シーケンス802は、第1の代表画像802−3を取得した直前及び直後の画像を含んで、本明細書で説明するように、ユーザが代表画像802−3に対して特定の操作を行った場合に瞬間が「動き出し」得る拡張写真を、第1の画像シーケンス802が含むようにする。
図8A〜図8Lに示す例では、ポータブル多機能デバイス100はまた、複数のグループ化された画像シーケンスにおける画像とは異なる複数の画像を記憶する。例えば、ポータブル多機能デバイス100は、画像824(図8I)を記憶し、画像824は、複数の画像シーケンスにおける画像シーケンスの一部分ではない(例えば、画像824は静止画像である)。
一部の実施形態では、ユーザインタフェース800は、画像管理アプリケーション(例えば、Apple Inc.(Cupertino,California)のPhotos)におけるユーザインタフェースである。そのため、一部の実施形態では、画像シーケンス802を撮ったカメラは、ポータブル多機能デバイス100の一部(例えば、図1Aの撮像モジュール143と併せて光センサ164を備えるカメラ)である。一部の実施形態では、画像シーケンス802は、ポータブル多機能デバイス100の一部ではないカメラで撮られた(例えば、画像シーケンス802は、別のデバイスのカメラで撮られた後、ポータブル多機能デバイス100に転送された)。一部の実施形態では、画像シーケンス802は、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて取得されている。一部の実施形態では、代表画像802−3は、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、カメラが取得した代表画像に対応する。
一部の実施形態では、静止画像及び/又は複数の画像シーケンスのうちの一部は、ポータブル多機能デバイス100を使用して取得されたものであり、複数の画像シーケンスのうちの一部は、異なるデバイス上のカメラで撮られた後にポータブル多機能デバイス100へ転送されたものである。例えば、一部の状況では、ユーザは、方法900/2600に関連して説明する画像シーケンスを複数のデバイス(例えば、ポータブル多機能デバイス100に加えて、タブレット、ラップトップ及び/又はデジタルカメラ)上で取得し(例えば、撮り、キャプチャし)、画像シーケンスを、追加的な静止画像を記憶するポータブル多機能デバイス100へ同期又は他の方法で転送し得る。
一部の実施形態では、ユーザインタフェース800は、メッセージングアプリケーション(例えば、Apple Inc.(Cupertino,California)のMessages)におけるユーザインタフェースである。一部の実施形態では、画像シーケンス802及び/又は静止画像824は、メッセージングアプリケーションのスクロール可能領域に表示されたメッセージ会話におけるメッセージであり、画像シーケンス802が、メッセージングアプリケーションのスクロール可能領域がスクロールされるにつれて表示される。一部の状況では、ユーザは、ユーザ自身のポータブル多機能デバイス100上でそれぞれの画像シーケンスを取得し(例えば、撮り、キャプチャし)、異なるユーザから異なる画像シーケンス又は異なる静止画像を(例えば、メッセージングアプリケーションにおいて)受信したのであってもよい。よって、一部の実施形態では、ポータブル多機能デバイス100上に記憶された複数の画像シーケンスは、ポータブル多機能デバイス100上のカメラを使用して取得された少なくとも1つの画像シーケンス又は静止画像と、ポータブル多機能デバイス100とは異なる、別のデバイス上のカメラを使用して取得された少なくとも1つの画像シーケンスと、を含む。
図8A〜図8Lに示すように、ポータブル多機能デバイス100は、2つの類似の入力、すなわち、第1の入力816(図8B〜図8F)と第2の入力836(図8K〜図8L)とを検出する。第1の入力816と第2の入力836とは、(強度図818に示すような)強度特性及び経路特性(例えば、第1の入力816及び第2の入力836の両方とも長押しジェスチャである)などの共通の1組の特性を共有する(例えば、共通の1組の既定の基準を満たす)ため、類似している。第1の入力816と第2の入力836とは、第1の入力816が画像シーケンスの一部分である画像(例えば、代表画像802−3)上で検出され、他方、第2の入力836が画像シーケンスの一部分ではない画像(例えば、静止画像824)上で検出されることを除いて、同じである。
その結果、ポータブル多機能デバイス100は、代表画像802−3を表示する間に第1の入力816が検出された場合に第1の動作を行い、静止画像824を表示する間に第2の入力836が検出された場合に異なる第2の動作を行う。図8B〜図8Fに示す例では、第1の動作は、図6A〜図6FF及び方法1000/10000/10050を参照して説明される方式で、画像シーケンス802の少なくとも一部分を表示することを含む。つまり、第1の入力816の第1の部分816−1の間、ポータブル多機能デバイス100は、画像802−3を取得した後にカメラが取得した画像を再生(例えば、図8Cの画像802−4を表示し、図8Dの画像802−5を表示)し、第1の入力816の第2の部分816−2の間、ポータブル多機能デバイス100は、画像802−3を取得する前にカメラが取得した画像を再生(例えば、図8Eの画像802−1を表示し、図8Fの画像802−2を表示)する。図8K〜図8Lに示す例では、第2の動作は、静止画像824の異なる部分を示すアニメーションを表示することを含む。例えば、図8Lに示すように、第2の動作は、静止画像824の一部分(例えば、第2の入力836の下又は近傍の部分)にズームインするアニメーションを含む。ズームインに加えて又は代えて、一部の実施形態では、第2の動作は、静止画像824に関する情報(例えば、メタデータ822)を表示することを含む。
図8G〜図8Iは、ナビゲーションジェスチャ844(例えば、ドラッグジェスチャ)を示す。ナビゲーションジェスチャは、左方向のジェスチャであり、位置844−1において開始し、位置844−2へ移動し、位置844−3へ移動する。そのため、一部の実施形態では、ポータブル多機能デバイス100は、(例えば、図7A〜図7CCを参照して説明したようにシーケンスを表示することによって)画像シーケンス802を表示することから、静止画像824を表示することへ移行する(例えば、画像824は、拡張写真ではなく静止写真であるため、画像シーケンス間をアニメーション表示せずにタッチスクリーン112を横切ってスライドする)。一部の実施形態では、静止画像上でナビゲーションジェスチャ844に類似する入力を検出した場合、ポータブル多機能デバイス100は、静止画像に関連付けられた画像間を(例えば、存在しないため)表示せずに、異なる画像に移行する。
図9A〜図9Gは、一部の実施形態に係る、グループ化された関連画像シーケンスをキャプチャする方法900の流れ図を示す。方法900は、ディスプレイ及びカメラを備えた電子デバイス(例えば、図3のデバイス300又は図1Aのポータブル多機能デバイス100)で実行される。一部の実施形態では、デバイスが、タッチ感知面との接触の強度を検出するための1つ以上のセンサを含む。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にある、又はディスプレイに一体化されている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法900における一部の動作が任意選択的に、組み合わされ、かつ/又は一部の動作の順序が任意選択的に変えられる。
カメラのための第1のメディア取得モードにある間に、デバイスは、(例えば、図5Aに示すように)ライブプレビューをディスプレイ上に表示する(902)(例えば、デバイスは、画像をカメラで取得しながら、画像をリアルタイム又は準リアルタイムで表示する)。例えば、第1のメディア取得モードは、拡張写真モード、モーメントモードなどと名付けられたモードである。
一部の実施形態では、第1のメディア取得モードは、デバイスのユーザによって(例えば、カメラのための設定インタフェースを介して)、有効化又は無効化されるように構成される(904)。一部の実施形態では、デバイスは、少なくとも3つのメディア取得モード、すなわち、(1)シャッターボタンのアクティブ化を検出したことに応じて画像シーケンスをグループ化することであって、画像シーケンスが、シャッターボタンアクティブ化の前及びシャッターボタンアクティブ化の後に取得された画像を含む、ことと、画像のグループとして記憶することと、を行う、第1のメディア取得モード(これは「拡張静止画像」取得モードとみなし得る)と、(2)従来のデジタルカメラの静止画像モードのように、シャッターボタンのアクティブ化を検出したことに応じて単一の画像を記憶する、第2のメディア取得モード(例えば、従来の静止画像取得モード)と、(3)シャッターボタンのアクティブ化を検出した後に取得された動画を記憶することと、シャッターボタンが再度アクティブ化されるまで動画を記録し続けることと、を行う、第3のメディア取得モード(例えば、動画取得モード)と、を含む。一部の実施形態では、ユーザは、カメラのための設定インタフェース、モード選択ボタン、モード選択ダイヤルなどを介して、そのメディア取得モードを有効化するかを選択できる。
一部の実施形態では、ライブプレビューが、第1のメディア取得モードを有効化するためのアフォーダンス(例えば、図5A〜図5Hのアフォーダンス506)を含むメディアキャプチャユーザインタフェースの一部分として表示される(906)。第1のメディア取得モードが有効化されている間(例えば、メディアキャプチャユーザインタフェースを表示しながら、画像及び/又は音声データをキャプチャ中であることを示すために)アフォーダンスがアニメーション表示され、第1のメディア取得モードが無効化されている間アフォーダンスはアニメーション表示されない。一部の実施形態では、第1のメディア取得モードが無効化されている間にアフォーダンスの選択(例えば、アフォーダンス上でのタップジェスチャ)を検出したことに応じて、デバイスは、第1のメディア取得モードを有効化し、メディア(例えば、画像及び/又は音声)のキャプチャを開始し、アフォーダンスのアニメーション表示を開始する。一部の実施形態では、メディアのキャプチャは、画像及び/又は音声の記録を含む。一部の実施形態では、メディアのキャプチャは、画像及び/又は音声の(例えば、永続メモリへの)記憶を含む。
ライブプレビューを表示する間に、デバイスは、第1の時間におけるシャッターボタンのアクティブ化を検出する(908)(例えば、デバイスは、第1の時間における物理ボタンの押圧を検出する、又は(図5Fに示すような)シャッター開放アイコン上へのタップジェスチャ又はライブプレビュー上へのタップジェスチャ(ライブプレビューが仮想シャッターボタンとして作用する)など、第1の時間におけるタッチ感知ディスプレイ上の仮想シャッターボタン上でジェスチャを検出する)。一部の実施形態では、検出されるアクティブ化は、シャッターボタンの単一のアクティブ化である(例えば、従来のデジタルカメラで、従来のデジタルカメラの静止画像モードにおいて、単一の画像をキャプチャするために使用される単一のアクティブ化に類似する)。
第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて、デバイスは、第1の時間におけるシャッターボタンのアクティブ化の時間的近傍でカメラが取得した複数の画像を(例えば、図5I〜図5Kに示すように)第1の画像シーケンスへグループ化する(910)。第1の画像シーケンスは、第1の時間におけるシャッターボタンのアクティブ化を検出する前にカメラが取得した複数の画像と、第1の画像シーケンスを代表し、かつ第1の画像シーケンスにおける他の画像のうちの1つ以上の後にカメラが取得した、代表画像と、代表画像を取得した後にカメラが取得した複数の画像と、を含む。
一部の実施形態では、代表画像は、第1の時間においてカメラによって取得され、かつ従来のデジタルカメラの静止画像モードでそのシャッターボタンをアクティブ化した時にキャプチャされた単一の画像に類似する。一部の実施形態では、カメラが取得した代表画像は、第1の時間に取得された画像に対応する。一部の実施形態では、カメラが取得した代表画像は、シャッターラグ(シャッターボタンのアクティブ化の検出と、代表画像のキャプチャ/記憶と、の間の時間遅延)を考慮した時間における、第1の時間におけるシャッターボタンのアクティブ化を検出した直後に取得された画像に対応する。一部の実施形態では、カメラが取得した代表画像は、例えば、画像提示モードにおいて、画像シーケンスを代表するために使用される。
一部の実施形態では、第1の画像シーケンスは、代表画像を取得した後に取得された、5、10、15、20、25又は30の画像などの既定数の画像を含む。一部の実施形態では、代表画像を取得した後に取得された画像は、代表画像を取得した後の既定時間内(例えば、代表画像を取得した後の0.5、1.0、1.5、2.0又は2.5秒内)にある画像である。一部の実施形態では、第1の画像シーケンスは、第1の時間におけるシャッターボタンのアクティブ化の後に取得された、5、10、15、20、25又は30の画像などの既定数の画像を含む。一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出した後に取得された画像は、第1の時間の後の既定の時間内にある画像(例えば、第1の時間の後0.5、1.0、1.5、2.0又は2.5秒内の画像)である。一部の実施形態では、代表画像を取得した後に取得された、第1の画像シーケンスにおける複数の画像は、既定のグループ化基準を満たす。一部の実施形態では、既定のグループ化基準が、代表画像の後の既定数の画像を選択することを含む。一部の実施形態では、既定のグループ化基準が、シャッターボタンのアクティブ化を検出した直後の既定時間範囲内にある画像を選択することを含む。一部の実施形態では、既定のグループ化基準が、代表画像を取得した時間の直後の既定時間範囲内にある画像を選択することを含む。
一部の実施形態では、第1の画像シーケンスは、第1の別個の1組の画像としてメモリに記憶される(912)(例えば、不揮発性メモリ内のデータ構造に一緒に記憶される)。一部の実施形態では、カメラが取得した代表画像は、例えば、画像提示モードにおいて、第1の別個の1組の画像を代表するために使用される(例えば、図6A〜図6FF、図7A〜図7CC及び図8A〜図8L)。
一部の実施形態では、ライブプレビューは、画像を第1の解像度で表示し、第1の画像シーケンスは、ライブプレビューで表示された、第1の解像度で画像を含む(914)(例えば、第1の解像度は、カメラの解像度の上限よりも低い解像度である)。一部の実施形態では、カメラが取得した代表画像が、第1の解像度よりも高解像度である第2の解像度を有する(916)。一部の実施形態では、カメラが取得した代表画像が、第1の画像シーケンスにおける他の画像の解像度よりも高解像度である。例えば、カメラが取得した代表画像は、12、18又は24メガピクセルの画像であり、第1の画像シーケンスにおける他の画像は、ライブプレビューに表示された解像度に対応する、より低い解像度を有する(例えば、第1の解像度)。一部の実施形態では、カメラが取得した代表画像が、第1の画像シーケンスにおける他の画像の解像度と同じ解像度である。
一部の実施形態では、シャッターボタンのそれぞれのアクティブ化を検出したことに応じてグループ化されたそれぞれの画像シーケンスのためのパラメータが、デバイスのユーザによって構成可能である(918)。例えば、カメラのための設定インタフェースを介して、ユーザは、それぞれのシーケンスにおける画像の数、(例えば、図5I〜図5Kに示すように)どの画像をシーケンスの代表画像とするか、及び/又は画像シーケンスのための他の取得又は表示パラメータ(例えば、それぞれの画像の解像度、他の画像の解像度、フレームレート、フィルタ効果など)を選択できる。
一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出する前にカメラが取得した複数の画像が、第1の時間におけるシャッターボタンのアクティブ化を検出する前に第1の形態でメモリ(例えば、プログラムメモリ、揮発性メモリ、リングバッファなど)に記憶され、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて、第2の形態でメモリ(例えば、不揮発性メモリ/ストレージ)に記憶される(920)。
一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出する前に取得された複数の画像が、既定数の画像(例えば、5、10、15、20、25又は30の画像)である(922)。
一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出する前に取得された複数の画像が、第1の時間の前の既定の時間内にある画像(例えば、第1の時間の前0.5、1.0、1.5、2.0又は2.5秒内の画像)である(924)。
一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出する前に取得された複数の画像が、代表画像を取得した時間の前の既定の時間内にある画像(例えば、代表画像を取得した時間の前0.5、1.0、1.5、2.0又は2.5秒内の画像)である(926)。
一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出する前に取得された複数の画像が、第1の時間と第1の時間の前である第2の時間との間の時間範囲からであり、第1の時間におけるシャッターボタンのアクティブ化を検出する前に複数の画像を取得することが、(第1の時間におけるシャッターのアクティブ化を検出すること以外の)第2の時間の時間的近傍である、シャッターボタンとの双方向作用を検出することとは独立である(928)。例えば、第1の時間におけるシャッターボタンのアクティブ化を検出する前に取得された複数の画像は、(第1の時間におけるシャッターボタンのアクティブ化を検出する以外には)第2の時間の時間的近傍であるシャッターボタンとの双方向作用を検出したことに応じて取得されない。例えば、第1の時間におけるシャッターボタンのアクティブ化を検出する前に取得された複数の画像は、第2の時間又はその付近におけるシャッターボタンの部分的な(又は完全な)アクティブ化を検出したことに応じて取得されない。
一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出する前に取得された、第1の画像シーケンスにおける複数の画像が、1つ以上の既定のグループ化基準を満たす(930)。一部の実施形態では、既定のグループ化基準が、シャッターボタンのアクティブ化を検出する前の既定数の画像を選択することを含む(932)。一部の実施形態では、既定のグループ化基準が、代表画像の前の既定数の画像を選択することを含む(934)。一部の実施形態では、既定のグループ化基準が、シャッターボタンのアクティブ化を検出した直前の既定時間範囲内にある画像を選択することを含む(936)。一部の実施形態では、既定のグループ化基準が、代表画像を取得した時間の直前の既定時間範囲内にある画像を選択することを含む(938)。
一部の実施形態では、ライブプレビューが、第1のメディア取得モードを有効化するためのアフォーダンスを含むメディアキャプチャユーザインタフェースの一部分として表示され、シャッターボタンが、メディアキャプチャユーザインタフェースに表示されたソフトウェアボタンである(例えば、図5A〜図5Hのシャッターボタン514)(940)。シャッターボタンのアクティブ化(例えば、図5Fのタップジェスチャ518)を検出したことに応じて、デバイスは、カメラが第1の画像シーケンスのための画像を取得する、シャッターボタンのアクティブ化の後の時間に対応する時間だけ続く、シャッターボタンに関連付けられたアニメーション(例えば、図5F〜図5Hに示すように、バラバラになって元に戻るシャッターボタンの一部分のアニメーション)を(例えば、メディアが依然としてキャプチャ中であるという指標をユーザに提供するために)表示する(942)。一部の実施形態では、アニメーションは、カメラが第1の画像シーケンスのための画像の取得を終える前にシャッターボタンが再度アクティブ化された場合に途切れなく延長され得るループアニメーションである。
一部の実施形態では、デバイスは、(シャッターボタンのアクティブ化を検出することとは独立に)第1のメディア取得モードに入ると画像の取得及び記憶を開始する(944)。デバイスが、第1のメディア取得モードにある間に、それぞれの時間におけるシャッターボタンのアクティブ化の時間的近傍のそれぞれの複数の画像へグループ化されない画像を削除する(又は削除用にマーキングする)(946)。
一部の実施形態では、デバイスは、(シャッターボタンのアクティブ化を検出することとは独立に)ライブプレビューを表示すると画像の取得及び記憶を開始する(948)。デバイスが、第1のメディア取得モードにある間に、それぞれの時間におけるシャッターボタンのアクティブ化の時間的近傍のそれぞれの複数の画像へグループ化されない画像を削除する(又は削除用にマーキングする)(950)。
一部の実施形態では、デバイスは、シャッターボタンのアクティブ化を検出することとは独立に、ライブプレビューを表示する間に画像の取得及び記憶する(952)。デバイスが、第1のメディア取得モードにある間に、それぞれの時間におけるシャッターボタンのアクティブ化の時間的近傍のそれぞれの複数の画像へグループ化されない、取得及び記憶した画像を削除する(又は削除用にマーキングする)(954)。
一部の実施形態では、ユーザは、画像が画像シーケンスへグループ化されない場合に画像を破棄する前に画像を保持する時間の長さを選択できる。例えば、ユーザは、ライブプレビューモードで表示された画像を5、10又は20秒保持するように、デバイスを設定できる。例えば、ユーザが5秒の時間の長さを選択すると仮定すると、ライブプレビューに表示された画像は、ライブプレビューに表示された後に5秒保持され、次いで、シャッターボタンのアクティブ化によって画像シーケンスへグループ化されない場合、破棄(例えば、削除又は削除用にマーキング)される。
一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて、デバイスは、(例えば、シャッターボタンのアクティブ化を検出する前に記録された音声と、シャッターボタンのアクティブ化を検出した後に記録された音声と、を含む)第1の画像シーケンスに対応する音声を第1の画像シーケンスに関連付ける(956)。一部の実施形態では、デバイスは、マイクロフォンを備え(又はマイクロフォンと通信し)、画像シーケンスを取得した際に検出された音声は、メモリに記憶され、記憶された第1の画像シーケンスにリンク(又は他の方法で関連付け)される。例えば、図6E〜図6Iは、対応する音声を伴う画像シーケンスの再生を示す。
一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて、デバイスは、第1の画像シーケンスに対応するメタデータを、第1の画像シーケンスに関連付ける(958)(例えば、図6J〜図6Mは、対応するメタデータを伴う画像シーケンスの再生を示す)。一部の実施形態では、時間、日付、(例えば、GPSを介する)位置、天気、画像シーケンスを取得した時に再生されていた音楽(例えば、Shazam(登録商標)、SoundHound(登録商標)又はMidomi(登録商標)などの、デバイスの音楽識別ソフトウェアで識別された音楽)、ローカルイベント情報(第1の画像シーケンスを取得した時と場所で行われていたスポーツゲームなど)、イベント後情報(最終スコアなど)などの、画像シーケンスのためのメタデータは、メモリに記憶され、記憶された画像シーケンスにリンク(又は他の方法で関連付け)される。
一部の実施形態では、デバイスは、第1の画像シーケンスからの不鮮明な画像を自動的に排除する(960)(又は削除若しくはシーケンスの一部分として表示を行わない)。
一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出した後に、デバイスは、(第1の時間と第2の時間との間では、いかなるシャッターボタンのアクティブ化も検出せずに)第2の時間におけるシャッターボタンの次のアクティブ化を検出する(962)。第2の時間におけるシャッターボタンの次のアクティブ化を検出したことに応じて、デバイスは、第2の時間におけるシャッターボタンのアクティブ化の時間的近傍でカメラが取得した複数の画像を第2の画像シーケンスへグループ化する(964)。第2の画像シーケンスは、第2の時間におけるシャッターボタンのアクティブ化を検出する前にカメラが取得した複数の画像と、第2の画像シーケンスを代表し、かつ第2の画像シーケンスにおける他の画像のうちの1つ以上の後にカメラが取得した代表画像と、を含む。一部の実施形態では、画像シーケンスのキャプチャは、従来のデジタルカメラによる個別の画像のキャプチャと類似の仕方でなされるため、このような画像シーケンスのキャプチャが、初心者ユーザにとっても、シンプルかつ直観的になる。従来のデジタルカメラでは、シャッターボタンをアクティブ化するたびに、個別の画像がキャプチャされる。ここでは、シャッターボタンをアクティブ化するたびに、画像シーケンスがキャプチャされる。この画像シーケンスのキャプチャの仕方は、従来のデジタルカメラによる動画のキャプチャの仕方とは異なる。従来のデジタルカメラによる動画のキャプチャでは、シャッターボタンの最初のアクティブ化によって、動画の記録が開始し、シャッターボタンの次のアクティブ化によって、動画の記録が停止する。
一部の実施形態では、シーケンスにおける最初のフレーム及び/又は最後のフレームは、代表画像の変更に従って変更される(例えば、図5I〜図5Kに示すように)。そのため、一部の実施形態では、第1の画像シーケンスは、第1の画像シーケンスにおける最初の画像と、最初の画像と代表画像との間に取得された第1の数の画像と、第1の画像シーケンスにおける最後の画像と、代表画像と最後の画像との間に取得された第2の数の画像と、を含む(966)。デバイスは、第1の画像シーケンスにおける代表画像を変更する要求に対応する入力を検出する(968)。一部の実施形態では、画像シーケンス編集モードにある間に、デバイスは、代表画像選択指示子を、現在の代表画像から第1の画像シーケンスにおける別の画像に移動させるジェスチャ(例えば、ドラッグジェスチャ又はタップジェスチャ)(例えば、タッチジェスチャ522)を検出する。一部の実施形態では、画像シーケンス編集モードにある間に、デバイスは、現在の代表画像を代表画像選択エリア外へ移動させ、第1の画像シーケンスにおける別の画像を代表画像選択エリア内へ移動させるジェスチャ(例えば、ドラッグジェスチャ又はタップジェスチャ)を検出する。第1の画像シーケンスにおける代表画像を変更する要求に対応する入力を検出したことに応じて、デバイスは、検出された入力に従って、代表画像を訂正された代表画像に変更し、検出された入力に従って、第1の画像シーケンスが訂正された最初の画像及び訂正された最後の画像を有するように、第1の画像シーケンスの一方の端部に画像を追加し、かつ第1の画像シーケンスの他方の端部における画像を削除することによって、第1の画像シーケンスにおけるグループ化された複数の画像を変更する(970)。
一部の実施形態では、最初の画像と代表画像との間にある画像の数と、訂正された最初の画像と訂正された代表画像との間にある画像の数とは、同じである。一部の実施形態では、代表画像と最後の画像との間にある画像の数と、訂正された代表画像と訂正された最後の画像との間にある画像の数とは、同じである。一部の実施形態では、加えられた画像は、第1の画像シーケンスの一方の端部の時間的近傍にある。例えば、訂正された代表画像が、第1の画像シーケンスにおける3画像前である場合、(最初の画像の直前に取得された)3つの画像が(3つの画像のうちの最も時間的に早いものが訂正された最初の画像となった状態で)第1のシーケンスの最初に加えられ、第1のシーケンスの末尾から3つの画像が削除される。
一部の実施形態では、ディスプレイはタッチ感知ディスプレイである(972)。デバイスは、第1の画像シーケンスからの代表画像を表示する要求を受ける(974)。代表画像を表示する要求を受けたことに応じて、デバイスは、代表画像をタッチ感知ディスプレイ上に表示する(976)。代表画像を表示する間に、デバイスは、タッチ感知ディスプレイ上で代表画像上へのタッチ入力を受け、タッチ入力が、時間と共に変化する特性を含む(978)。例えば、タッチ入力の強度は、時間と共に変化する、又は(例えば、タッチ感知ディスプレイを横断する接触の横方向の移動に起因して)タッチ入力における接触の位置は、時間と共に変化する。タッチ感知ディスプレイ上の代表画像上でタッチ入力を受けたことに応じて、デバイスは、タッチ入力の特性の経時変化に基づいて決定されたレートで、第1の画像シーケンスにおける画像を(例えば、順番に)表示する(980)(例えば、図6A〜図6FFの長押しジェスチャ又は図7A〜図7CCのナビゲーションドラッグジェスチャを参照して説明したように)。
図9A〜9Gにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法1000、10000、10050、1100、11000、1200、2400、2500、2600及び2700)に関して本明細書で記載されている他のプロセスの詳細は、また、図9A〜図9Gに関連して上述されている方法900に、類似の方法で適用可能であることも留意されたい。例えば、方法900に関連して上述された、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスは、本明細書で説明される他の方法(例えば、方法1000、10000、10050、1100、11000、1200、2400、2500、2600及び2700)に関連して本明細書で説明される、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスの特性のうちの1つ以上を、任意選択的に有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。加えて、付録Aで説明される他のプロセスの細部もまた、図9A〜図9Gに関連して上述した方法900に類似の仕方で適用可能であることに留意されたい。例えば、方法900に関連して上述した取得動作、グループ化動作及び記憶動作は、任意選択的に、付録Aで説明される拡張写真のためのキャプチャ動作、トリミング動作、記憶又は検索動作の特性のうちの1つ以上を有する。
図10A〜図10Eは、一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法1000の流れ図を示す。方法1000は、ディスプレイ及びタッチ感知面を備えた電子デバイス(例えば、図3のデバイス300又は図1Aのポータブル多機能デバイス100)にて実行される。一部の実施形態では、デバイスが、タッチ感知面との接触の強度を検出するための1つ以上のセンサを含む。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にある、又はディスプレイに一体化されている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法1000の一部の動作が任意選択的に、組み合わされ、かつ/又は一部の動作の順序が任意選択的に変えられる。
デバイスは、(例えば、デバイスが画像提示モードにある間に(図6A参照))ディスプレイ上に代表画像を表示する(1002)。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスはまた、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。一部の実施形態では、画像シーケンスを撮ったカメラは、電子デバイスの一部である。一部の実施形態では、画像シーケンスは、電子デバイスの一部ではないカメラで撮られた(例えば、画像シーケンスは、別のデバイスのカメラで撮られた後、電子デバイスに転送された)。一部の実施形態では、画像シーケンスは、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて取得されている。一部の実施形態では、代表画像は、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、カメラが取得した代表画像に対応する。
ディスプレイ上に代表画像を表示する間に、デバイスは、第1の入力の第1の部分(例えば、タッチ感知面上への入力(図6B〜図6Dの第1の入力616の第1の部分616−1を参照))を検出する(1004)。一部の実施形態では、第1の入力は、長押しジェスチャ(例えば、タッチ感知ディスプレイ上の代表画像上での長押し指ジェスチャ、又はカーソル若しくは他のフォーカスセレクタがディスプレイ上の代表画像上にある間における、トラックパッド上での長押し指ジェスチャ)である(1006)。一部の実施形態では、第1の入力は、カーソル又は他のフォーカスセレクタがディスプレイ上の代表画像上にある間における、マウスによるクリックアンドホールド入力である。一部の実施形態では、デバイスは、タッチ感知面で接触の強度を検出する1つ以上のセンサを含み、第1の入力は、第1の接触強度基準を満足する指の接触(例えば、タッチ感知ディスプレイ上の代表画像上での指ジェスチャ、又はカーソル若しくは他のフォーカスセレクタがディスプレイ上の代表画像上にある間における、トラックパッド上での指ジェスチャであって、入力の少なくとも一部分で指ジェスチャの接触が軽い押圧(又は深い押圧)強度閾値を上回る、指ジェスチャ)を含む(1008)。例えば、図6B〜図6Dに示すように、第1の入力616は、軽い押圧強度閾値ITLを上回る長押し入力である。
第1の入力の第1の部分を検出したことに応じて、デバイスは、代表画像の表示を、代表画像を取得した後にカメラが取得した1つ以上の画像の順番での表示と置き換える(1010)(例えば、図6B〜図6Dに示すように)。よって、一部の実施形態では、第1の入力の第1の部分を検出したことに応じて、代表画像を取得した後にカメラが取得した1つ以上の画像が、順番に表示される。一部の実施形態では、代表画像を取得した後にカメラが取得した1つ以上の画像は、第1の入力の第1の部分を検出したことに応じて、第1の入力の第1の部分における接触の強度に基づくレートで順番に表示される(1012)(例えば、表示レートは、第1の入力の第1の部分における接触の強度が増加するにつれて増進し、表示レートは、第1の入力の第1の部分における接触の強度が減少するにつれて減退する)。一部の実施形態では、(第1の入力の第1の部分を検出したことに応じて)画像を代表画像から最後の画像まで順番に表示するレートは、第1の入力の第1の部分における接触の強度に従って変化する。一部の実施形態では、このように最初に表示レートが第1の入力における接触強度に依存した後、(図6Eから図6Mに示すように、第1の入力のその後の部分を検出したことに応じた)続く画像シーケンスの表示は、第1の入力のその後の部分の接触強度とは独立に固定表示レートで行われる。一部の実施形態では、代表画像を取得した後にカメラが取得した1つ以上の画像が、第1の入力の第1の部分を検出したことに応じて、固定レートで順番に表示される。一部の実施形態では、画像シーケンス間の進行の位置は、接触の強度に基づく(例えば、接触の特定の強度は、図6P〜図6V及び図6Wに示すように、画像シーケンス間の対応する進行量に対応付けされる)。一部の実施形態では、強度とアニメーション進行との間におけるこの対応付けは、接触の強度がITLとITDとの間である場合に適用され、接触の強度がITDを上回っている場合、画像シーケンスの間のアニメーションは、既定のレート(例えば1xリアルタイム)又は接触の強度に基づいて決定されたレート(例えば、より高い強度の接触ではより速く、より低い強度の接触ではよりも遅く)で進行する。一部の実施形態では、代表画像を表示することを、代表画像を取得した後にカメラが取得した1つ以上の画像を順番に表示することと置き換えることは、最初の接触の強度の経時変化に基づいて画像シーケンスにおける画像を動的に表示するアニメーションを表示することを含む。
一部の実施形態では、代表画像を表示することを、代表画像を取得した後にカメラが取得した1つ以上の画像を順番に表示することと置き換えることは、任意選択的に、第1の入力の第1の部分が1つ以上の既定の強度基準を満たすか否かに関わらず、表示画像を毎秒複数回(例えば、毎秒10、20、30又は60回)更新する(例えば、置き換える)ことを含む。一部の実施形態では、アニメーションは、デバイスが検出した強度の量に関するフィードバック(例えば、ユーザがかけた力の量に関するフィードバック)をユーザに提供するために、第1の入力の第1の部分の強度が変化するにつれて更新される流体アニメーションである。一部の実施形態では、アニメーションは、タッチ感知面にかかる力の変化に対してユーザインタフェースがリアルタイムで応答しているという外観をユーザのために生み出すために、滑らかかつ迅速に更新される(例えば、アニメーションは、即時フィードバックをユーザに提供し、ユーザがタッチ感知面にかけている力をうまく調節して、強度が異なる又は変化する接触に応答するユーザインタフェースオブジェクトと効率的に双方向作用できるようにするために、ユーザにとって知覚的に瞬間的である)。
一部の実施形態では、順番に置き換わる画像シーケンスを示すアニメーションは、最初の接触の強度の小さな変化に対して動的に応答する仕方で表示される(例えば、図6Wに示すように)。
一部の実施形態では、第1の入力の第1の部分を検出した後に、デバイスは、第1の入力の第2の部分を検出する(1014)(例えば、指ジェスチャにおける十分な接触及び/又は強度を検出し続ける)。一部の実施形態では、第2の部分は、第1の入力の第1の部分と同じ特性を有する第1の入力の続きである(例えば、第1の入力の第1の部分との第2の部分との間の変化に時間依存はない)。一部の実施形態では、ユーザによって中断又は中止されない限り、第1の入力の第1の部分は、動作1010を行う必要な時間だけ長く続き、その後はすべて第1の入力の第2の部分、すなわち後の部分である。
一部の実施形態では、第1の入力の第2の部分を検出したことに応じて、デバイスは、代表画像を取得する前にカメラが取得した1つ以上の画像と、代表画像と、代表画像を取得した後にカメラが取得した1つ以上の画像と、を順番に表示する(1016)(図6E〜図6Iに示すように)。よって、一部の実施形態では、第1の入力の第2の部分を検出したことに応じて、シーケンスにおける最初の画像から最後の画像まで画像シーケンス全体が表示される。
一部の実施形態では、第1の入力の第1の部分を検出したことに応じて、代表画像を表示することを、代表画像を取得した後にカメラが取得した1つ以上の画像を順番に表示することと置き換える代わりに、デバイスは、第1の入力の第1の部分を検出したことに応じて、代表画像を表示することを、最初の画像の後に画像シーケンスの残りを順番に表示することと置き換える。
一部の実施形態では、画像シーケンスが、第1の入力の第2の部分を検出したことに応じて、固定レートで順番に表示される(1018)。一部の実施形態では、画像シーケンスにおける画像は、(例えば、第1の入力の第2の部分の間に)第1の入力の接触の強度とは独立な固定レートで順番に表示される。例えば、画像シーケンスは、第1の入力の第2の部分の間に、1x動画再生レート(例えば、画像を取得したレート)で順番に表示される。一部の実施形態では、第1の入力の第2の部分の間に、画像シーケンスにおける画像を順番に表示するレートは、第1の入力の接触の強度に依存する。例えば、レートは、接触の強度が増加するにつれて増進する。一部の実施形態では、画像シーケンスが、第1の入力の第2の部分を検出したことに応じて、入力の第1の部分の接触の強度に基づくレートで順番に表示される。
一部の実施形態では、デバイスは、代表画像を取得した後にカメラが取得した1つ以上の画像を順番に表示することから代表画像を取得する前にカメラが取得した1つ以上の画像を順番に表示することへとクロスフェードする(1020)。一部の実施形態では、画像シーケンスがループされる又は再度表示される場合、(例えば、図6Dに示すように)画像シーケンスの終わりから(例えば、図6Eに示すように)画像シーケンスの始めにかけてクロスフェードアニメーションが表示される。
一部の実施形態では、第1の入力の第2の部分を検出したことに応じて、デバイスは、画像シーケンスに対応する音声を提示する(1022)。一部の実施形態では、第1の入力の第2の部分を検出したことに応じて、画像シーケンスを取得した時に記録された対応する音声と共に、画像シーケンス全体が表示される。一部の実施形態では、第1の入力の第1の部分を検出したことに応じて、音声は提示されない。一部の実施形態では、音声は、(例えば、第1の入力の第2の部分を検出したことに応じて)画像シーケンスの最初の完全な再生の間に提示される。一部の実施形態では、(例えば、第1の入力の第2の部分を検出したことに応じて)画像シーケンスの最初の完全な再生の後に第1の入力が維持される場合、第1の入力を引き続き検出したことに応じる続くシーケンス再生の間は、音声は再度提示されない。一部の実施形態では、所与の入力については、画像シーケンス最初の完全な再生の間にのみ音声は提示される。一部の実施形態では、所与の入力については、画像シーケンスの2回目の完全な再生の間にのみ音声は提示される。
一部の実施形態では、第1の入力の第2の部分を検出した後に、デバイスは、第1の入力の第3の部分を検出する(1024)(例えば、図6J〜図6Mに示すように、指ジェスチャにおける十分な接触及び/又は強度を検出し続ける)。一部の実施形態では、第1の入力の第3の部分は、第1の入力の特性に変化を伴わない、第1の入力の第2の部分の続きである。第1の入力の第3の部分を検出したことに応じて、デバイスは、代表画像を取得する前にカメラが取得した1つ以上の画像と、代表画像と、代表画像を取得した後にカメラが取得した1つ以上の画像と、を順番に表示する(1026)(例えば、デバイスは、ループして戻り、シーケンスを再度表示する)。一部の実施形態では、第1の入力における圧力及び/又は接触が維持される場合、画像シーケンスは、再度表示される。一部の実施形態では、ループ及び再生は、第1の入力が維持される限り続く。
一部の実施形態では、第1の入力の第3の部分を検出したことに応じて、デバイスは、画像シーケンスに対応するメタデータを表示する(1028)。一部の実施形態では、第1の入力における圧力及び/又は接触が維持される場合、画像シーケンスは再度表示され、その際、時間、日付、(例えば、GPSを介する)位置、天気、画像シーケンスを取得した時に再生されていた音楽(例えば、Shazam、SoundHound又はMidomiなどの、デバイスの音楽識別ソフトウェアで識別された音楽)、ローカルイベント情報(第1の画像シーケンスを取得した時と場所で行われていたスポーツゲームなど)、及び/又はイベント後情報(最終スコアなど)などの、画像シーケンスのためのメタデータの同時表示を伴う。例えば、図6J〜図6Mは、画像シーケンスにおける画像に対応する位置情報及び時間情報の同時表示を示す。
一部の実施形態では、デバイスは、第1の入力の終了を検出する(1030)(例えば、第1の入力における接触のリフトオフを検出する、又は第1の入力における接触の強度が、図6Nに示すように、ITLなどの既定の閾値の強度値を下回るまで低下したことを検出する)。第1の入力の終了を検出したことに応じて、デバイスは、代表画像を表示する(1032)(例えば、デバイスは、画像シーケンスにおける代表画像の表示と共に終了するアニメーションを表示する)。
一部の実施形態では、デバイスは、画像シーケンスにおける第1の画像(例えば、図6Nの画像602−4)を表示する間に、第1の入力の終了を検出する(1034)(例えば、第1の入力における接触のリフトオフを検出する、又は第1の入力における接触の強度が、図6Nに示すように、ITLなどの既定の閾値の強度値を下回るまで低下したことを検出する)。画像シーケンスにおける第1の画像を表示する間に、第1の入力の終了を検出したことに応じて、第1の画像が、画像シーケンスにおける代表画像の前に生じる(例えば、第1の画像が代表画像の前に撮られた)という判定に従って、デバイスは、画像を第1の画像から代表画像まで時系列で順番に表示する(例えば、デバイスは、画像シーケンスを代表画像に到達するまで順方向に表示する)(1036)。第1の画像が、画像シーケンスにおける代表画像の後に生じる(例えば、第1の画像が代表画像の後に撮られた)という判定に従って、デバイスは、画像を第1の画像から代表画像まで逆時系列で順番に表示する(例えば、デバイスは、画像シーケンスを代表画像に到達するまで逆方向に表示する)。一部の実施形態では、画像を第1の画像から代表画像まで時系列で順番に表示することは、画像を表示するレートを次第に遅くすることを含み、その結果、画像シーケンスの再生がゆっくりと進んで、代表画像において停止する。一部の実施形態では、画像を第1の画像から代表画像まで逆時系列で順番に表示することは、画像を表示するレートを次第に遅くすることを含み、その結果、画像シーケンスの逆再生がゆっくりと進んで、代表画像において停止する。
一部の実施形態では、画像シーケンスが、順方向又は逆方向のいずれかのループで順番に表示されるように構成される(1038)。デバイスは、画像シーケンスにおける第1の画像を表示する間に、第1の入力の終了を検出する(1040)(例えば、デバイスは、第1の入力における接触のリフトオフを検出する、又は第1の入力における接触の強度が、既定の閾値の強度値を下回って低下したことを検出する)。画像シーケンスにおける第1の画像を表示する間に、第1の入力の終了を検出したことに応じて、デバイスは、ループが順方向に進む場合に第1の画像と代表画像との間の画像がより少ないという判定に従って、第1の画像から代表画像まで順方向に順番に画像を表示し、デバイスは、ループが逆方向に進む場合に第1の画像と代表画像との間の画像がより少ないという判定に従って、第1の画像から代表画像まで逆方向に順番に画像を表示する(1042)。
一部の実施形態では、代表画像を取得した後にカメラが取得した1つ以上の画像が、第1の入力によってかけられるそれぞれの強度レベルに従って、順番に表示される(1044)。例えば、図6P〜図6V及び図6Wに示すように、それぞれの画像は、それぞれの強度に対応付けされ、ユーザは、第1の入力によってかけられる強度を変えることによって、代表画像の後に取得された1つ以上の画像間を順方向及び逆方向にスクラブできる(例えば、強度範囲618−4に対応する強度のタッチ入力を提供することによって、図6Rに示すユーザインタフェースの表示を開始し、その後、タッチ入力の強度を増加して、強度範囲618−5に対応する強度によって、図6Rに示すユーザインタフェースの表示と、図6Sに示すユーザインタフェースとの置き換えが開始するようにする)。
一部の実施形態では、第1の入力の第1の部分が、(例えば、図6P〜図6Vに示すような)タッチ感知面上で検出された接触の強度の変化を含む(1046)。代表画像が表示され、かつ接触が第1の強度を有する間に、デバイスは、第2の強度までそれぞれの量だけ接触の強度の増加を検出する。それぞれの量だけ接触の強度の増加を検出したことに応じて、デバイスは、代表画像の表示を、画像シーケンスにおいて代表画像からそれぞれの数の画像後である第1の後続画像の表示と置き換える。例えば、図6Q〜図6Rでは、接触636の強度は、強度範囲618−3の強度から強度範囲618−4内の強度まで増加し、画像602−3の表示は、画像602−4の表示と置き換わる。第1の後続画像を表示し、かつ接触が第2の強度を有する間に、デバイスは、第3の強度まで前記それぞれの量だけ接触の強度の増加を検出する。第2の強度から第3の強度まで前記それぞれの量だけ接触の強度の増加を検出したことに応じて、デバイスは、第1の後続画像の表示を、画像シーケンスにおいて第1の後続画像からそれぞれの数の画像後である第2の後続画像の表示と置き換える。例えば、図6R〜図6Sでは、接触636の強度は、強度範囲618−4内の強度から範囲618−5内の強度まで増加し、画像602−4の表示は、画像602−5の表示と置き換わる。
一部の実施形態では、それぞれの数の画像が、接触の強度の変化の大きさに基づく(1048)。例えば、図6Q〜図6Sでは、接触636の強度が強度範囲618−3内の強度から強度範囲618−4内の強度まで増加する場合、それぞれの画像数は、1つであり、接触636の強度が強度範囲618−3内の強度から強度範囲618−5内の強度まで増加する場合、それぞれの画像数は、2つである。
一部の実施形態では、接触の強度の変化が、第1の大きさを有する場合、第1の順次画像が、画像シーケンスにおけるそれぞれの画像の直後であり、第2の順次画像が、画像シーケンスにおける第1の順次画像の直後である(1050)。一部の実施形態では、接触の強度のそれぞれの変化が第1の大きさよりも大きい第2の大きさを有する場合、第1の順次画像が、それぞれの画像から画像シーケンスにおいてそれぞれの数の画像だけ離隔し、第2の順次画像が、第1の順次画像から画像シーケンスにおいてそれぞれの数の画像だけ離隔し、それぞれの数の画像が1つ以上の画像である。例えば、図6Q〜図6Sでは、接触636の強度が強度範囲618−3内の強度から強度範囲618−4内の強度まで増加する場合、画像602−3の表示は、画像602−4の表示と置き換わり、接触636の強度が強度範囲618−3内の強度から強度範囲618−5内の強度まで増加する場合、画像602−3の表示は、画像602−5の表示と置き換わる。
一部の実施形態では、第1の入力の第1の部分が、(例えば、図6P〜図6Vに示すような)タッチ感知面上で検出された接触の強度の変化を含む(1052)。代表画像が表示され、かつ接触が第1の強度を有する間に、デバイスは、第2の強度までそれぞれの量だけ接触の強度の増加を検出する。(同じ)それぞれの量だけ接触の強度の増加を検出したことに応じて、デバイスは、代表画像の表示を、画像シーケンスにおいて代表画像からそれぞれの数の画像後である第1の後続画像の表示と置き換える。例えば、図6Q〜図6Rでは、接触636の強度は、強度範囲618−3の強度から強度範囲618−4内の強度まで増加し、画像602−3の表示は、画像602−4の表示と置き換わる。第1の後続画像を表示し、かつ接触が第2の強度を有する間に、デバイスは、(同じ)それぞれの量だけ接触の強度の変化を検出する。(同じ)それぞれの量だけ接触の強度の変化を検出したことに応じて、(同じ)それぞれの量だけの接触の強度の変化が第2の強度から第3の強度への接触の強度の増加を含むという判定に従って、デバイスは、第1の後続画像の表示を、画像シーケンスにおいて第1の後続画像からそれぞれの数の画像後である第2の後続画像の表示と置き換え、(同じ)それぞれの量だけの接触の強度の変化が第2の強度から第1の強度への接触の強度の減少を含むという判定に従って、デバイスは、第1の後続画像の表示を、代表画像の表示と置き換える。例えば、図6R〜図6Sに示すように、接触636の強度が強度範囲618−4内の強度から強度範囲618−5内の強度まで増加する場合、画像602−4の表示は、画像602−5の表示と置き換わり、図6T〜図6Uに示すように、接触636の強度が強度範囲618−4内の強度から強度範囲618−3内の強度まで減少する場合、画像602−4の表示は、画像602−3の表示と置き換わる。
図10A〜図10Eにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。一部の実装では、本明細書で説明される1つ以上の動作が省略される場合もある。例えば、一部の実施形態では、動作1014及び1016が省略される。加えて、本明細書に記載の他の方法(例えば、方法900、10000、10050、1100、11000、1200、2400、2500、2600及び2700)に関して本明細書で記載されている他のプロセスの詳細は、また、図10A〜図10Eに関連して上述されている方法1000に、類似の方法で適用可能であることも留意されたい。例えば、方法1000に関連して上述された、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスは、本明細書で説明される他の方法(例えば、方法900、10000、10050、1100、11000、1200、2400、2500、2600及び2700)に関連して本明細書で説明される、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスの特性のうちの1つ以上を、任意選択的に有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
図10F〜図10Iは、一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法10000の流れ図を示す。方法10000は、ディスプレイ及びタッチ感知面を備えた電子デバイス(例えば、図3のデバイス300又は図1Aのポータブル多機能デバイス100)にて実行される。一部の実施形態では、デバイスが、タッチ感知面との接触の強度を検出するための1つ以上のセンサを含む。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にある、又はディスプレイに一体化されている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法10000の一部の動作が任意選択的に、組み合わされ、かつ/又は一部の動作の順序が任意選択的に変えられる。
デバイスはディスプレイ上に代表画像を表示する(10002)。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。一部の実施形態では、画像シーケンスは、方法1000の動作1002を参照して説明した画像シーケンスと類似する。
ディスプレイ上に代表画像を表示する間に、デバイスは、第1の入力の第1の部分を検出する(10004)。一部の実施形態では、第1の入力は、長押しジェスチャである(10006)。一部の実施形態では、第1の入力は、方法1000の動作1004から1008を参照して説明した第1の入力と類似する。
第1の入力の第1の部分を検出したことに応じて、デバイスは、代表画像を表示することから画像シーケンスにおけるそれぞれの前の画像を表示することへ移行し、それぞれの前の画像が、代表画像を取得する前にカメラによって取得され、代表画像を表示することからそれぞれの前の画像を表示することへ移行した後に、デバイスは、それぞれの前の画像から開始して順番に、代表画像を取得する前にカメラが取得した1つ以上の画像のうちの少なくとも一部と、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部と、を表示する(10008)。一部の実施形態では、代表画像を表示することからそれぞれの前の画像を表示することへ移行した後に、デバイスは、それぞれの前の画像から開始して順番に、代表画像を取得する前にカメラが取得した1つ以上の画像のうちの少なくとも一部と、代表画像と、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部と、を表示する。
一部の実施形態では、代表画像を表示することからそれぞれの前の画像を表示することへ移行することは、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部を順番に表示することと、次いで、代表画像を取得した後に取得されたそれぞれの後続画像の表示を、それぞれの前の画像と置き換えることと、を含む(10010)(例えば、図6Xの図表650を参照して説明したように、デバイスは、クロスフェード及び/又はぼかして、それぞれの後続画像を表示することからそれぞれの前の画像を表示することへ切り替える)。
一部の実施形態では、代表画像を表示することからそれぞれの前の画像を表示することへ移行することが、代表画像の表示をそれぞれの前の画像と置き換えることを含む(10012)(例えば、図6Xの図表656を参照して説明したように、デバイスは、切り替え前に代表画像を取得した後にカメラが取得した1つ以上の画像を表示せずに、クロスフェード及び/又はぼかして、代表画像を表示することからそれぞれの前の画像を表示することへ切り替える)。
一部の実施形態では、代表画像を表示することからそれぞれの前の画像を表示することへ移行することが、第1の入力の第1の部分が、第1の再生基準を満たすという判定に従って(例えば、接触の強度が再生強度閾値までゆっくりと増加していることを検出する、又は接触の強度が速い再生強度閾値よりも低い遅い再生強度閾値まで増加していることを検出する)、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部を順番に表示することと、次いで、代表画像を取得した後に取得されたそれぞれの後続画像の表示を、それぞれの前の画像と置き換えることと(例えば、クロスフェード及び/又はぼかして、それぞれの後続画像を表示することからそれぞれの前の画像を表示することへ切り替える)、第1の入力の第1の部分が、第1の再生基準とは異なる第2の再生基準を満たすという判定に従って(例えば、接触の強度が再生強度閾値まで速く増加していることを検出する、又は接触の強度が速い再生強度閾値まで増加していることを検出する)、代表画像の表示を、それぞれの前の画像と置き換えることと(例えば、切り替え前に代表画像を取得した後にカメラが取得した1つ以上の画像を表示せずに、クロスフェード及び/又はぼかして、代表画像を表示することからそれぞれの前の画像を表示することへ切り替える)、を含む(10014)。
一部の実施形態では、デバイスは、タッチ感知面との接触の強度を検出するための1つ以上のセンサユニットを含む(10016)。第1の入力は、タッチ感知面上の接触を含む。第1の再生基準が、接触が第1の強度閾値を上回る特性強度を有する場合に満たされる基準(例えば、図6Xの軽い押圧閾値ITL)を含む。第2の再生基準が、接触が第1の強度閾値よりも大きい第2の強度閾値を上回る特性強度を有する場合に満たされる基準(例えば、図6Xの深い押圧閾値ITD)を含む。
一部の実施形態では、代表画像を取得する前にカメラが取得した1つ以上の画像と、代表画像を取得した後にカメラが取得した1つ以上の画像とが、それぞれの前の画像から開始して順番に固定レートで表示される(10018)(例えば、方法1000の動作1018を参照して説明した固定レートでの画像の表示に類似の仕方で)。
一部の実施形態では、デバイスは、画像シーケンスに対応する音声を提示する(10020)(例えば、方法1000の動作1022を参照して説明したような音声の提示と類似して)。
一部の実施形態では、第1の入力の第1の部分を検出した後に、デバイスは、第1の入力の第2の部分を検出する(10022)。第1の入力の第2の部分を検出したことに応じて、デバイスは、(例えば、方法1000の動作1024〜1028と類似の仕方で)代表画像を取得する前にカメラが取得した1つ以上の画像のうちの少なくとも一部と、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部と、を順番に表示する。一部の実施形態では、第1の入力の第2の部分を検出したことに応じて、デバイスは、画像シーケンスに対応するメタデータを表示する(10024)。
一部の実施形態では、デバイスは、第1の入力の終了(例えば、リフトオフ)を検出する(10026)。第1の入力の終了を検出したことに応じて、デバイスは、代表画像を表示する。(例えば、方法1000の動作1030〜1032と類似の仕方で)。
一部の実施形態では、デバイスは、画像シーケンスにおける第1の画像を表示する間に、第1の入力の終了(例えば、リフトオフ)を検出する(10028)。画像シーケンスにおける第1の画像を表示する間に、第1の入力の終了を検出したことに応じて、第1の画像が、画像シーケンスにおける代表画像の前に生じるという判定に従って、デバイスは、第1の画像から代表画像までの画像を時系列で順番に表示し、デバイスは、第1の画像が、画像シーケンスにおける代表画像の後に生じるという判定に従って、第1の画像から代表画像までの画像を逆時系列で順番に表示する(例えば、方法1000の動作1034〜1036に類似の仕方で)。
一部の実施形態では、画像シーケンスが、順方向又は逆方向のいずれかのループで順番に表示されるように構成される(10030)。デバイスは、画像シーケンスにおける第1の画像を表示する間に、第1の入力の終了(例えば、リフトオフ)を検出する。画像シーケンスにおける第1の画像を表示する間に、第1の入力の終了を検出したことに応じて、デバイスは、ループが順方向に進む場合に第1の画像と代表画像との間の画像がより少ないという判定に従って、第1の画像から代表画像まで順方向に順番に画像を表示し、デバイスは、ループが逆方向に進む場合に第1の画像と代表画像との間の画像がより少ないという判定に従って、第1の画像から代表画像まで逆方向に順番に画像を表示する(例えば、方法1000の動作1038〜1042に類似の仕方で)。
図10F〜図10Iにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。一部の実装では、本明細書で説明される1つ以上の動作が省略される場合もある。例えば、一部の実施形態では、動作10014及び10016が省略される。加えて、本明細書に記載の他の方法(例えば、方法900、1000、10050、1100、11000、1200、2400、2500、2600及び2700)に関して本明細書で記載されている他のプロセスの詳細は、また、図10F〜図10Iに関連して上述されている方法10000に、類似の方法で適用可能であることも留意されたい。例えば、方法10000に関連して上述された、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスは、本明細書で説明される他の方法(例えば、方法900、1000、10050、1100、11000、1200、2400、2500、2600及び2700)に関連して本明細書で説明される、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスの特性のうちの1つ以上を、任意選択的に有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
図10J〜図10Mは、一部の実施形態に係る、関連画像シーケンスを表示(又は再生)する方法10050の流れ図を示す。方法10050は、ディスプレイ及びタッチ感知面を備えた電子デバイス(例えば、図3のデバイス300又は図1Aのポータブル多機能デバイス100)にて実行される。一部の実施形態では、デバイスが、タッチ感知面との接触の強度を検出するための1つ以上のセンサを含む。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にある、又はディスプレイに一体化されている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法10050の一部の動作が任意選択的に、組み合わされ、かつ/又は一部の動作の順序が任意選択的に変えられる。
ディスプレイ、タッチ感知面、及びタッチ感知面との接触の強度を検出するための1つ以上のセンサを備えた電子デバイスにおいて、デバイスは、代表画像(例えば、図6Yの代表画像602−1)をディスプレイ上に表示する(10052)。
代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。一部の実施形態では、代表画像は、画像シーケンスにおける最初の画像である。一部の実施形態では、画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む(10054)(例えば、画像シーケンスは、方法1000の動作1002を参照して説明したような画像シーケンスに類似する)。
デバイスは、ディスプレイ上に代表画像を表示する間に、タッチ感知面上への接触の特性強度が第1の強度閾値(例えば、図6Y〜図6AAの軽い押圧閾値ITL)よりも大きい第1の強度まで増加したことを検出することを含む、第1の入力を検出することを行う(10056)。
一部の実施形態では、第1の入力は、長押しジェスチャである(10058)。一部の実施形態では、第1の入力は、方法1000の動作1004〜1008を参照して説明した第1の入力と類似する。
接触の特性強度が増加したことを検出したことに応じて、デバイスは、代表画像を取得した後にカメラが取得した1つ以上の画像間を第1の方向に第1の強度に少なくとも部分的に基づいて決定されたレートで(時系列で)進む(10060)(例えば、図6Y〜図6AAを参照して説明したように)。
代表画像を取得した後にカメラが取得した1つ以上の画像間を第1の強度に基づいて決定されたレートで進んだ後、デバイスは、接触の強度が第1の強度未満である第2の強度まで減少したことを検出する(10062)。
第2の強度まで接触の特性強度が減少を検出したことに応じて、第2の強度が第1の強度閾値を上回っているという判定に従って、デバイスは、代表画像を取得した後にカメラが取得した1つ以上の画像間を、第1の方向に、第2のレートで進み続け、第2のレートが、第2の強度に少なくとも部分的に基づいて決定され、第2のレートが、第1のレートよりも遅く、第2の強度が第1の強度閾値を下回っているという判定に従って、デバイスは、代表画像を取得した後にカメラが取得した1つ以上の画像間を、第1の方向とは反対の第2の方向に(例えば、逆時系列で)、第2の強度に少なくとも部分的に基づいて決定されたレートで移動する(例えば、デバイス100は、入力644が軽い押圧閾値ITLを下回る接触強度を有することから、画像シーケンス602を図6AAから図6BBまで逆方向に移動する)(10064)。
一部の実施形態では、画像が順番に接触の特性強度が増加するにつれて増進するレートで表示される(例えば、第1のレート及び/又は第2のレートは、接触の特性強度に比例する)(10066)。一部の実施形態では、接触の特性強度が第1の強度閾値を上回っているという判定に従って、代表画像を表示することは、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部を順番に接触の特性強度が増加するにつれて増進するレートで表示することと置き換わる。
一部の実施形態では、接触の特性強度が第1の強度閾値を下回っているという判定に従って、シーケンスにおける画像は、接触の特性強度が減少するにつれて増進する逆方向のレートで逆時系列で表示される(例えば、図6Y〜図6AAのレート図646及び図6CC〜図6DDに示すグラフに示すように)。
一部の実施形態では、順方向又は逆方向のレートは、リアルタイム又は準リアルタイムで判定され、その結果、ユーザは、接触の特性強度を変化させることによって、画像間の進行を(順方向又は逆方向のいずれかに)加速又は減速できる。
一部の実施形態では、画像が順番に接触の特性強度と第1の強度閾値との差に比例するレートで表示される(例えば、第1のレート及び/又は第2のレートは、接触の特性強度と第1の強度閾値との差に比例する)(10068)。一部の実施形態では、接触の特性強度が第1の強度閾値を上回っているという判定に従って、代表画像を表示することは、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部を順番に接触の特性強度と第1の強度閾値との差に比例するレートで表示することと置き換わる。
一部の実施形態では、接触の特性強度が第1の強度閾値を下回っているという判定に従って、シーケンスにおける画像は、接触の特性強度と第1の強度閾値との差に比例する逆方向のレートで逆時系列で表示される。
一部の実施形態では、順方向又は逆方向のレートは、リアルタイム又は準リアルタイムで判定され、その結果、ユーザは、接触の特性強度を変化させることによって、画像間の進行を(順方向又は逆方向のいずれかに)加速又は減速できる。
一部の実施形態では、デバイスは、画像シーケンスの終端が近づくにつれて、画像シーケンスにおける画像を表示するレートを減退させる(例えば、接触の特性強度とは独立に)(10070)。
例えば、一部の実施形態では、第1のレートが、現在の表示画像と画像シーケンスの最後との近さに部分的に基づいて決定される(例えば、再生がシーケンスの最後に近づくにつれて、進行レートは遅くなり、その結果、画像シーケンスの再生が遅くなって、画像シーケンスの最後で停止する)(10072)。よって、デバイスは、画像シーケンスの終わりに近づくにつれて、わずかに「ブレーキをかける」。
別の例として、一部の実施形態では、第2のレートが、現在の表示画像と画像シーケンスの最初との近さに部分的に基づいて決定される(例えば、逆再生がシーケンスの最初に近づくにつれて、逆方向の移動レートは遅くなり、その結果、画像シーケンスの再生が遅くなって、画像シーケンスの最初で停止する)(10074)。よって、デバイスは、逆時系列で移動し、画像シーケンスの最初に近づくにつれて、わずかに「ブレーキをかける」。
一部の実施形態では、画像シーケンス間の進行レートは、接触がタッチ感知面上で検出されている間に、最大レートによって制約される(例えば、2xの最大レートであり、ここで、xは、コンテンツの標準的な再生速度であり、例えば、1秒再生する速度は、シーケンスにおける画像の取得の間に経過する時間の1秒に対応する)(10076)。
一部の実施形態では、第1の強度閾値に近い接触の特性強度の強度値は、ゼロ画像毎秒のレートから少なくとも既定量離れているレートの値に関連付けられる(例えば、第1の強度閾値を上回る値では0.2x、第1の強度閾値を下回る値では−0.2x)(10078)。画像シーケンスの再生レートがゼロに近づかないことを確実にすることにより、画像間の不一致が容易に明らかになり、画像シーケンス間の滑らかな再生の錯覚を壊すほど遅く再生されないようにしている。
一部の実施形態では、画像シーケンス間の移動レートは、接触がタッチ感知面上で検出されている間に、最大逆レート(例えば、−2xの最大逆レート)によって制約される(10080)。
一部の実施形態では、代表画像が、デバイスのロック画面上の背景画像として表示され、デバイスが、それぞれの画像の後にキャプチャされた1つ以上の画像間を進む間に、1つ以上の前景要素(例えば、日付、時間、1つ以上の通知、ネットワークステータス情報、バッテリステータス情報、デバイスロック解除命令及び/又は他のステータス情報)は変更されない(10082)。
一部の実施形態では、デバイスは、画像シーケンスに対応するメタデータを表示する(10084)。例えば、デバイスは、時間、日付、(例えば、GPSを介する)位置、天気、画像シーケンスを取得した時に再生されていた音楽(例えば、Shazam、SoundHound又はMidomiなどの、デバイスの音楽識別ソフトウェアで識別された音楽)、ローカルイベント情報(第1の画像シーケンスを取得した時と場所で行われていたスポーツゲームなど)、及び/又はイベント後情報(最終スコアなど)などのメタデータを表示する。
一部の実施形態では、デバイスは、タッチ感知面からの接触のリフトオフを検出する(10086)。接触のリフトオフを検出したことに応じて、デバイスは、画像間を第2の方向に最大逆レートよりも大きいレート(例えば、−4xのレート)で移動する。
一部の実施形態では、デバイスは、第1の入力の終了(例えば、リフトオフ)を検出する(10088)。第1の入力の終了を検出したことに応じて、デバイスは、代表画像を表示する(例えば、方法1000の動作1030〜1032と類似の仕方で)。
一部の実施形態では、デバイスは、画像シーケンスにおける第1の画像を表示する間に、第1の入力の終了(例えば、リフトオフ)を検出する(10090)。画像シーケンスにおける第1の画像を表示する間に、第1の入力の終了を検出したことに応じて、第1の画像が、画像シーケンスにおける代表画像の前に生じるという判定に従って、デバイスは、第1の画像から代表画像までの画像を時系列で順番に表示し、デバイスは、第1の画像が、画像シーケンスにおける代表画像の後に生じるという判定に従って、第1の画像から代表画像までの画像を逆時系列で順番に表示する(例えば、方法1000の動作1034〜1036に類似の仕方で)。
図10J〜図10Mにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。一部の実装では、本明細書で説明される1つ以上の動作が省略される場合もある。例えば、一部の実施形態では、動作10064及び10066が省略される。加えて、本明細書に記載の他の方法(例えば、方法900、1000、10000、1100、11000、1200、2400、2500、2600及び2700)に関して本明細書で記載されている他のプロセスの詳細は、また、図10J〜図10Mに関連して上述されている方法10050に、類似の方法で適用可能であることも留意されたい。例えば、方法10050に関連して上述された、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスは、本明細書で説明される他の方法(例えば、方法900、1000、10000、1100、11000、1200、2400、2500、2600及び2700)に関連して本明細書で説明される、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスの特性のうちの1つ以上を、任意選択的に有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
図11A〜図11Eは、一部の実施形態に係る、関連画像シーケンス間をナビゲートする方法1100の流れ図を示す。方法1100は、ディスプレイ及びタッチ感知面を備えた電子デバイス(例えば、図3のデバイス300又は図1Aのポータブル多機能デバイス100)にて実行される。一部の実施形態では、デバイスが、タッチ感知面との接触の強度を検出するための1つ以上のセンサを含む。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にある、又はディスプレイに一体化されている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法1100の一部の動作が任意選択的に、組み合わされ、かつ/又は一部の動作の順序が任意選択的に変えられる。
デバイスは、複数の画像シーケンスを(例えば、不揮発性メモリ及び/又はプログラムメモリに)記憶する(1102)。それぞれの画像シーケンスは、カメラが撮ったそれぞれの代表画像と、それぞれの代表画像を取得した後にカメラが取得した1つ以上の画像と、それぞれの代表画像を取得する前にカメラが取得した1つ以上の画像と、を含む。一部の実施形態では、それぞれの画像シーケンスを撮ったカメラは、電子デバイスの一部である。一部の実施形態では、それぞれの画像シーケンスは、電子デバイスの一部ではないカメラで撮られた(例えば、それぞれの画像シーケンスは、別のデバイスのカメラで撮られた後、電子デバイスに転送された)。一部の実施形態では、それぞれの画像シーケンスは、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて取得されている。一部の実施形態では、それぞれの代表画像は、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、カメラが取得した代表画像に対応する。一部の実施形態では、それぞれの代表画像は、それぞれの画像シーケンスにおける他の画像の解像度よりも高解像度である。一部の実施形態では、それぞれの代表画像は、それぞれの画像シーケンスにおける他の画像の解像度と同じ解像度である。
デバイスは、第1の画像シーケンスのための第1の代表画像をディスプレイ上の移動可能な第1のエリアに表示する(例えば、図7Aに示すように、デバイスが画像提示モードにある間に)(1104)。一部の実施形態では、移動可能な第1のエリアは、第1の画像シーケンス以外の画像シーケンスからの画像を表示せずに、第1の画像シーケンスにおける画像を表示するエリアである。
一部の実施形態では、第1の画像シーケンスが、メッセージングアプリケーションのスクロール可能領域に表示されたメッセージ会話におけるメッセージであり、第1の画像シーケンスが、メッセージングアプリケーションのスクロール可能領域がスクロールされる(例えば、メッセージがディスプレイ上を移動する)につれて表示される(1106)。
デバイスは、タッチ感知面上のドラッグジェスチャ(例えば、図7B〜図7Dのドラッグジェスチャ736)を検出する(1108)。一部の実施形態では、ドラッグジェスチャは、ディスプレイ上の移動可能な第1のエリアにおいて開始する。一部の実施形態では、ドラッグジェスチャは、ディスプレイ上の移動可能な第1のエリアにおいて終了する。一部の実施形態では、ドラッグジェスチャは、(例えば、ドラッグジェスチャは、ドラッグジェスチャによって移動可能な第1のエリアをドラッグすることから)ディスプレイ上の移動可能な第1のエリアにおいて開始及び終了する。
ドラッグジェスチャがタッチ感知面上において第1の方向(例えば、左向き又は上向き)であるという判定に応じて(1112)、移動可能な第1のエリアにおいて、デバイスは、第1の画像シーケンスのための第1の代表画像の表示を、第1の画像シーケンスのための第1の代表画像を取得した後にカメラが取得した第1の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の時系列表示と置き換える(1114)。デバイスはまた、第1のエリアを第1の方向に移動する(例えば、ドラッグジェスチャによって第1のエリアをドラッグする)(1116)。例えば、図7B〜図7Dに示すように、左方向のドラッグジェスチャを検出したことに応じて、デバイスは、第1のエリア734を左にドラッグする。
一部の実施形態では、ディスプレイ上における第1のエリアの第1の方向への移動は、タッチ感知面上におけるドラッグジェスチャの接触の第1の方向への移動に対応する(例えば、接触の移動は、第1のエリアの移動を直接操作するようにみえる)。より一般的には、一部の実施形態では、それぞれの画像シーケンスにおける画像を表示するそれぞれのエリアの移動は、タッチ感知面上におけるドラッグジェスチャの接触の移動に対応する。
一部の実施形態では、第1のエリアにおける、第1の代表画像を取得した後にカメラが取得した第1の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の時系列表示は、ドラッグジェスチャにおける接触の移動に従って行われる。よって、第1の方向への接触の移動が加速した場合、第1のエリアにおける画像の時系列進行の表示も加速する。第1の方向への接触の移動が減速した場合、第1のエリアにおける画像の時系列進行の表示も減速する。第1の方向への接触の移動が停止した場合、第1のエリアにおける画像の時系列進行の表示も停止する。そして、接触の移動が、(例えば、左方向のドラッグジェスチャから右方向のドラッグジェスチャに)方向を反転した場合、第1のエリアにおける、第1の画像シーケンスにおける画像の進行の表示も逆行し、画像は、逆方向の接触の移動に従って逆時系列で示される。より一般的には、一部の実施形態では、それぞれの画像シーケンスでは、それぞれのエリアにおける、それぞれの画像シーケンスにおける画像の進行の表示は、ドラッグジェスチャにおける接触の移動に従って行われる。
一部の実施形態では、第1のエリアを第1の方向に移動することが、第1のエリアの少なくとも一部分を第1の方向(例えば、左方向又は上方向)にディスプレイ外へ移動することを含む(1118)。一部の実施形態では、第1のエリアを第1の方向に移動した結果、第1のエリアの一部分のみがディスプレイ上に表示される。例えば、図7B〜図7Dに示すように、第1のエリア734の一部分は、画面外へドラッグされる。
一部の実施形態では、ドラッグジェスチャがタッチ感知面上の第1の方向(例えば、左方向又は上方向)であるという判定に従って、デバイスは、移動可能な第2のエリアを第1の方向に移動する(1120)。一部の実施形態では、移動可能な第2のエリアは、第2の画像シーケンス以外の画像シーケンスからの画像を表示せずに、第2の画像シーケンスにおける画像を表示するエリアである(例えば、図7B〜図7Dの移動可能な第2のエリア738)。一部の実施形態では、移動可能な第2のエリアは、移動可能な第1のエリアに(例えば、移動可能な第1のエリアの右に)隣接する。一部の実施形態では、移動可能な第2のエリアは、次の画像シーケンスためのエリアである。第2のエリアを第1の方向に移動する間に、デバイスはまた、第2の画像シーケンスのための第2の代表画像を取得する前にカメラが取得した第2の画像シーケンス(例えば、次の画像シーケンス)のための1つ以上の画像のうちの少なくとも一部を、第2のエリアにおいて時系列で表示する(1122)。
一部の実施形態では、第2のエリアにおける、第2の代表画像を取得する前にカメラが取得した第2の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の時系列表示は、ドラッグジェスチャにおける接触の移動に従って行われる(例えば、第1の画像シーケンスに関して上述したのと類似の仕方で)。例えば、ドラッグジェスチャの間、第1のエリアにおける画像及び第2のエリアにおける画像は、両方とも、接触の移動に基づくレートと同じレートで進む。
一部の実施形態では、第2のエリアを第1の方向に移動する間に、第2のエリアは、第2の画像シーケンスにおける他の画像を表示せずに、第2の画像シーケンスのための第2の代表画像だけを表示する。
一部の実施形態では、第2のエリアを第1の方向に移動するのではなく、第2のエリアは、Zレイヤ(手前−奥)オーダーで第1のエリアの下にあり、第1のエリアが第1の方向にディスプレイ外へ移動すると、第2のエリアが現れる。
一部の実施形態では、第1の方向へのドラッグジェスチャの検出と同様に、次へアイコン又はボタン(例えば、図7Aの次へアイコン750−1)のアクティブ化を検出することによっても、第1のシーケンスからの画像を第1のエリアにアニメーション表示し、第2のシーケンスからの画像を第2のエリアにアニメーション表示する。一部の実施形態では、次へアイコン又はボタンのアクティブ化を検出することにより、第1のシーケンスからの画像を第1のエリアにアニメーション表示せずに、かつ第2のシーケンスからの画像を第2のエリアにアニメーション表示せずに、第2の代表画像の表示が、第1の代表画像の表示に置き換わる。一部の実施形態では、次へアイコン又はボタンのアクティブ化を検出することにより、第1のシーケンス又は第2のシーケンスにおける他の画像を表示せずに、第2の代表画像の表示が、第1の代表画像の表示に置き換わる。一部の実施形態では、異なるタイプの入力(例えば、左方向のドラッグジェスチャ対次へアイコン又はボタンのアクティブ化)に対する応答は、例えば設定インタフェースを介して、ユーザが構成可能である。
一部の実施形態では、第2のエリアを第1の方向に移動することが、第2のエリアの少なくとも一部分を第1の方向(例えば、左方向又は上方向)にディスプレイ内へ移動することを含む(1124)。一部の実施形態では、第2のエリアを第1の方向に移動した結果、第2のエリアが第1の方向にドラッグされるにつれて第2のエリアがより多く現れる状態で、第2のエリアの一部分のみがディスプレイ上に表示される。例えば、図7B〜図7Dに示すように、第2のエリア738の一部分は、画面内へドラッグされる。
一部の実施形態では、ドラッグジェスチャがタッチ感知面上の第1の方向(例えば、左方向又は上方向)であるという判定に従って、第2のエリアを第1の方向に移動した後に、デバイスは、第2の画像シーケンスのための第2の代表画像を第2のエリアに表示する(1126)。例えば、図7Fは、ドラッグジェスチャ736の結果(図7B〜図7D)、(後述のように、任意選択の中間動作が行われても)第2の代表画像724−3が表示されることを示す。
一部の実施形態では、第2の画像シーケンスのための第2の代表画像を第2のエリアに表示する間に、デバイスは、第2の代表画像に対応する入力の強度の変化を検出する(1128)。入力の強度の変化を検出したことに応じて、デバイスは、ディスプレイ上で第2のエリアを移動せずに、第2のエリアにおける第2の画像シーケンス間を進む(1130)(例えば、第2の代表画像の時間的に後の画像から開始し、第2の代表画像の時間的に前の画像にループして戻る)。例えば、一部の実施形態では、図10A〜図10Mの方法1000/10000/10050を参照して詳述したように、ユーザは、ドラッグジェスチャを停止し、それによって、ドラッグジェスチャを、第2の画像シーケンスの再生を誘発する長押しジェスチャに変換できる。
一部の実施形態では、デバイスは、第1のエリア及び第2のエリアを移動する間に、ドラッグジェスチャの終了(例えば、リフトオフ)を検出する(1132)。第1のエリア及び第2のエリアを移動する間に、ドラッグジェスチャの終了を検出したことに応じて(1134)、ドラッグジェスチャが、次シーケンスナビゲーション基準を満たす(例えば、(図7Eに示すように)第1のエリアの半分よりも多くがディスプレイ外へ移動した若しくは第1のエリアの別の既定の部分(0.2、0.3又は0.4など)がディスプレイ外へ移動した、又はドラッグジェスチャがリフトオフ速度が既定の閾値速度を上回るフリックジェスチャである)という判定に従って、デバイスは、第1のエリアを第1の方向に完全にディスプレイ外へ移動し、第2のエリアを完全にディスプレイ内へ移動し、第2の画像シーケンスのための第2の代表画像を第2のエリアに表示する(1136)。一部の実施形態では、第1のエリアにおける、第1の代表画像を取得した後にカメラが取得した第1の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の時系列表示は、第1のエリアがディスプレイ外へ移動する場合に継続される(入力が終了した場合でも)。一部の実施形態では、第2のエリアにおける、第2の代表画像を取得する前にカメラが取得した第2の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の時系列表示は、第2のエリアがディスプレイ内へ移動する場合に、第2の代表画像が表示されるまで継続される。
一部の実施形態では、第1のエリア及び第2のエリアを移動する間に、ドラッグジェスチャの終了を検出したことに応じて、ドラッグジェスチャが、次シーケンスナビゲーション基準を満たしていないという判定に従って、デバイスは、第2のエリアを第1の方向とは反対の第2の方向に完全にディスプレイ外へ移動し、第1のエリアを完全にディスプレイ内へ移動し、第1の画像シーケンスのための第1の代表画像を第1のエリアに表示する(1138)。一部の実施形態では、第1のエリアにおける、第1の代表画像を取得した後にカメラが取得した第1の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の時系列表示は、第1のエリアが完全にディスプレイ内へ移動する場合に、第1の代表画像が表示されるまで逆行される。一部の実施形態では、第2のエリアにおける、第2の代表画像を取得する前にカメラが取得した第2の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の時系列表示は、第2のエリアが完全にディスプレイ外へ移動する場合に、逆行される。
一部の実施形態では、ドラッグジェスチャがタッチ感知面上において第2の方向(例えば、右向き又は下向き)であるという判定に応じて(1140)、移動可能な第1のエリアにおいて、デバイスは、第1の画像シーケンスのための第1の代表画像の表示を、第1の画像シーケンスのための第1の代表画像を取得する前にカメラが取得した第1の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の逆時系列表示と置き換える(1142)。デバイスはまた、第1のエリアを第2の方向(例えば、右向き又は下向き)に移動する(1144)。
一部の実施形態では、ディスプレイ上における第1のエリアの第2の方向への移動は、タッチ感知面上におけるドラッグジェスチャの接触の第2の方向への移動に対応する(例えば、接触の移動は、第1のエリアの移動を直接操作するようにみえる)。より一般的には、一部の実施形態では、それぞれの画像シーケンスにおける画像を表示するそれぞれのエリアの移動は、タッチ感知面上におけるドラッグジェスチャの接触の移動に対応する。
一部の実施形態では、第1のエリアにおける、第1の代表画像を取得する前にカメラが取得した第1の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の逆時系列表示は、ドラッグジェスチャにおける接触の移動に従って行われる。よって、第2の方向への接触の移動が加速した場合、第1のエリアにおける画像の逆時系列進行の表示も加速する。第2の方向への接触の移動が減速した場合、第1のエリアにおける画像の逆時系列進行の表示も減速する。第2の方向への接触の移動が停止した場合、第1のエリアにおける画像の逆時系列進行の表示も停止する。そして、接触の移動が、(例えば、右方向のドラッグジェスチャから左方向のドラッグジェスチャに)方向を反転した場合、第1のエリアにおける、第1の画像シーケンスにおける画像の進行の表示も逆行し、画像は、逆方向の接触の移動に従って時系列で示される。より一般的には、一部の実施形態では、それぞれの画像シーケンスでは、それぞれのエリアにおける、それぞれの画像シーケンスにおける画像の進行の表示は、ドラッグジェスチャにおける接触の移動に従って行われる。
一部の実施形態では、第1のエリアを第2の方向に移動することが、第1のエリアの少なくとも一部分を第2の方向(例えば、右方向又は下方向)にディスプレイ外へ移動することを含む(1146)。例えば、図7G〜図7Iの右方向のドラッグジェスチャ744を検出したことに応じて、デバイスは、第1の画像シーケンス702を逆時系列で表示しながら、第1のエリア734を右にディスプレイ外へ移動する。
一部の実施形態では、ドラッグジェスチャがタッチ感知面上の第2の方向(例えば、右方向又は下方向)であるという判定に従って、デバイスは、第3のエリアを第2の方向に移動する(1148)。一部の実施形態では、移動可能な第3のエリアは、第3の画像シーケンス以外の画像シーケンスからの画像を表示せずに、第3の画像シーケンスにおける画像を表示するエリアである。一部の実施形態では、移動可能な第3のエリアは、移動可能な第1のエリアに(例えば、移動可能な第1のエリアの左に)隣接する。第3のエリアを第2の方向に移動する間に、デバイスはまた、第3の画像シーケンスのための第3の代表画像を取得した後にカメラが取得した第3の画像シーケンスのための1つ以上の画像のうちの少なくとも一部を、第3のエリアにおいて逆時系列で表示する(1150)。
一部の実施形態では、第3のエリアにおける、第3の代表画像を取得した後にカメラが取得した第3の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の逆時系列表示は、ドラッグジェスチャにおける接触の移動に従って行われる(例えば、第1の画像シーケンスに関して上述したのと類似の仕方で)。例えば、ドラッグジェスチャの間、第1のエリアにおける画像及び第3のエリアにおける画像は、両方とも、接触の移動に基づくレートと同じレートで後退する。
一部の実施形態では、第3のエリアを第2の方向に移動する間に、第3のエリアは、第3の画像シーケンスにおける他の画像を表示せずに、第3の画像シーケンスのための第3の代表画像だけを表示する。
一部の実施形態では、第1のエリアを第2の方向に移動するのではなく、第1のエリアは、Zレイヤ(手前−奥)オーダーで第3のエリアの下にあり、第3のエリアが第2の方向にディスプレイ内へ移動すると、第1のエリアが覆われる。
一部の実施形態では、第2の方向へのドラッグジェスチャの検出と同様に、前へアイコン(例えば、図7Aの前へアイコン750−2)又はボタンのアクティブ化を検出することによっても、第1のシーケンスからの画像を第1のエリアにアニメーション表示し、第3のシーケンスからの画像を第3のエリアにアニメーション表示する。一部の実施形態では、前へアイコン又はボタンのアクティブ化を検出することにより、第1のシーケンスからの画像を第1のエリアにアニメーション表示せずに、かつ第3のシーケンスからの画像を第3のエリアにアニメーション表示せずに、第3の代表画像の表示が、第1の代表画像の表示に置き換わる。一部の実施形態では、前へアイコン又はボタンのアクティブ化を検出することにより、第1のシーケンス又は第3のシーケンスにおける他の画像を表示せずに、第3の代表画像の表示が、第1の代表画像の表示に置き換わる。一部の実施形態では、異なるタイプの入力(例えば、右方向のドラッグジェスチャ対前へアイコン又はボタンのアクティブ化)に対する応答は、例えば設定インタフェースを介して、ユーザが構成可能である。
一部の実施形態では、第3のエリアを第2の方向に移動することが、第3のエリアの少なくとも一部分を第2の方向(例えば、右方向又は下方向)にディスプレイ内へ移動することを含む(1152)。例えば、図7G〜図7Iの右方向のドラッグジェスチャ744を検出したことに応じて、デバイスは、第3の画像シーケンス726を逆時系列で表示しながら、第3のエリア746を右からディスプレイ内へ移動する。
一部の実施形態では、第1の画像シーケンスは、第3の画像シーケンスの後にカメラが第2の画像シーケンス及び第1の画像シーケンスを取得する前に、カメラが取得している(1154)。例えば、画像シーケンスは、左から右へ時系列順である。
一部の実施形態では、ドラッグジェスチャがタッチ感知面上の第2の方向(例えば、右方向又は下方向)であるという判定に従って、第3のエリアを第2の方向に移動した後に、デバイスは、第3の画像シーケンスのための第3の代表画像を第3のエリアに表示する(図7Kに示すように)(1156)。
一部の実施形態では、デバイスは、第1のエリア及び第3のエリアを移動する間に、ドラッグジェスチャの終了(例えば、リフトオフ)を検出する(1158)(図7Jに示すように)。第1のエリア及び第3のエリアを移動する間に、ドラッグジェスチャの終了を検出したことに応じて(1160)、ドラッグジェスチャが、前シーケンスナビゲーション基準を満たす(例えば、(図7Jに示すように)第1のエリアがディスプレイの少なくとも半分である若しくは第1のエリアの別の既定の部分(0.2、0.3又は0.4など)がディスプレイ外へ移動した、又はドラッグジェスチャはリフトオフ速度が既定の閾値速度を上回るフリックジェスチャである)という判定に従って、デバイスは、第1のエリアを第2の方向(例えば、右方向又は下方向)に完全にディスプレイ外へ移動し、第3のエリアを完全にディスプレイ内へ移動し、第3の画像シーケンスのための第3の代表画像を第3のエリアに表示する(1162)。一部の実施形態では、第1の代表画像を取得する前にカメラが取得した第1の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の逆時系列表示は、第1のエリアがディスプレイ外へ移動する場合に継続する。一部の実施形態では、第3のエリアにおける、第3の代表画像を取得した後にカメラが取得した第3の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の逆時系列表示は、第3のエリアがディスプレイ内へ移動する場合に、第3の代表画像が表示されるまで継続される。
一部の実施形態では、ドラッグジェスチャが、前シーケンスナビゲーション基準を満たしていないという判定に従って、デバイスは、第3のエリアを第1の方向(例えば、左方向又は上方向)に完全にディスプレイ外へ移動し、第1のエリアを完全にディスプレイ内へ移動し、第1の画像シーケンスのための第1の代表画像を第1のエリアに表示する(1164)。一部の実施形態では、第1のエリアにおける、第1の代表画像を取得する前にカメラが取得した第1の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の逆時系列表示は、第1のエリアが完全にディスプレイ内へ移動する場合に、第1の代表画像が表示されるまで逆行される。一部の実施形態では、第3のエリアにおける、第3の代表画像を取得した後にカメラが取得した第3の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の逆時系列表示は、第3のエリアが完全にディスプレイ外へ移動する場合に、逆行される。
図11A〜図11Eにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法900、1000、10000、10050、11000、1200、2400、2500、2600及び2700)に関して本明細書で記載されている他のプロセスの詳細は、また、図11A〜図11Eに関連して上述されている方法1100に、類似の方法で適用可能であることも留意されたい。例えば、方法1100に関連して上述された、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスは、本明細書で説明される他の方法(例えば、方法900、1000、10000、10050、11000、1200、2400、2500、2600及び2700)に関連して本明細書で説明される、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスの特性のうちの1つ以上を、任意選択的に有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
図11F〜図11Iは、一部の実施形態に係る、関連画像シーケンス間をナビゲートする方法11000の流れ図を示す。方法11000は、ディスプレイ及びタッチ感知面を備えた電子デバイス(例えば、図3のデバイス300又は図1Aのポータブル多機能デバイス100)にて実行される。一部の実施形態では、デバイスが、タッチ感知面との接触の強度を検出するための1つ以上のセンサを含む。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にある、又はディスプレイに一体化されている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法11000の一部の動作が任意選択的に、組み合わされ、かつ/又は一部の動作の順序が任意選択的に変えられる。
デバイスは、複数の画像シーケンスを記憶する(11002)。それぞれの画像シーケンスは、カメラが撮ったそれぞれの代表画像と、それぞれの代表画像を取得する前にカメラが取得した1つ以上の画像と、を含む。一部の実施形態では、それぞれの画像シーケンスを撮ったカメラは、電子デバイスの一部である。一部の実施形態では、それぞれの画像シーケンスが、それぞれの代表画像を取得した後にカメラが取得した1つ以上の画像を含む(11004)。
一部の実施形態では、それぞれの画像シーケンスは、電子デバイスの一部ではないカメラで撮られた(例えば、それぞれの画像シーケンスは、別のデバイスのカメラで撮られた後、電子デバイスに転送された)。一部の実施形態では、それぞれの画像シーケンスは、図9A〜図9G(方法900)及びに/又は図26A〜図26D(方法2600)に関連して本明細書で説明するように、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて取得されている。一部の実施形態では、それぞれの代表画像は、図9A〜図9G(方法900)及びに/又は図26A〜図26D(方法2600)に関連して本明細書で説明するように、カメラが取得した代表画像に対応する。一部の実施形態では、それぞれの代表画像は、それぞれの画像シーケンスにおける他の画像の解像度よりも高解像度である。一部の実施形態では、それぞれの代表画像は、それぞれの画像シーケンスにおける他の画像の解像度と同じ解像度である。
デバイスは、第1の画像シーケンスのための第1の代表画像をディスプレイ上の移動可能な第1のエリアに表示する(例えば、デバイスが画像提示モードにある間に)(11006)。一部の実施形態では、移動可能な第1のエリアは、第1の画像シーケンス以外の画像シーケンスからの画像を表示せずに、第1の画像シーケンスにおける画像を表示するエリアである(例えば、図7Qの代表画像702−3)。
一部の実施形態では、第1の画像シーケンスが、メッセージングアプリケーションのスクロール可能領域に表示されたメッセージ会話におけるメッセージであり、第1の画像シーケンスが、メッセージングアプリケーションのスクロール可能領域がスクロールされるにつれて表示される(11008)(例えば、方法1100の動作1106に関連して説明したように)。
デバイスは、タッチ感知面上でジェスチャを検出し、ジェスチャが、ディスプレイ上での第1の方向への移動に対応する接触による移動を含む(例えば、図7Q〜図7Sのフリック/スワイプジェスチャ740及び/又は図7Y〜図7AAのドラッグジェスチャ764)(11010)。
タッチ感知面上でジェスチャを検出したことに応じて、デバイスは、第1のエリアを(例えば、第1の代表画像により)ディスプレイ上で第1の方向に移動し、移動可能な第2のエリアをディスプレイ上で第1の方向に移動し、シーケンス表示基準が満たされているという判定に従って、第2のエリアを第1の方向に移動する間に、第2の画像シーケンスのための第2の代表画像を取得する前にカメラが取得した第2の画像シーケンスのための1つ以上の画像のうちの少なくとも一部を、第2のエリアにおいて時系列で表示する(11012)(例えば、図7R〜図7Tの画像シーケンス724の表示)。一部の実施形態では、ディスプレイ上における第1のエリアの第1の方向への移動は、タッチ感知面上におけるジェスチャの接触の第1の方向への移動に対応する(例えば、接触の移動は、第1のエリアの移動を直接操作するようにみえる)。一部の実施形態では、移動可能な第2のエリアは、第2の画像シーケンス以外の画像シーケンスからの画像を表示せずに、第2の画像シーケンスにおける画像を表示するエリアである。一部の実施形態では、移動可能な第2のエリアは、移動可能な第1のエリアに(例えば、移動可能な第1のエリアの右に)隣接する。
一部の実施形態では、タッチ感知面上でジェスチャを検出したことに応じて、シーケンス表示基準が満たされていないという判定に従って、第2のエリアを第1の方向に移動する間に、デバイスは、(第2の画像シーケンスにおける他の画像を移動可能な第2のエリアに表示せずに)第2の画像シーケンスのための第2の代表画像をディスプレイ上の移動可能な第2のエリアに表示する(11014)。一部の実施形態では、シーケンス表示基準が満たされていないという判定に従って、第2のエリアを第1の方向に移動する間に、デバイスは、第2の画像シーケンスのための(第2の代表画像ではなく)最初の画像、又は第2の画像シーケンスのための第2の代表画像の前に取得した別の画像をディスプレイ上の移動可能な第2のエリアに表示する。
一部の実施形態では、シーケンス表示基準が、接触が、第2の代表画像を取得する前にカメラが取得した第2の画像シーケンスのための1つ以上の画像のうちの少なくとも一部を第2のエリアに時系列で表示する前にリフトオフするという基準を含む(11016)。一部の実施形態では、第2のエリアが第1の方向に移動している間に接触が検出され続ける場合、第2のエリアが第1の方向に移動する間に、第2の画像シーケンスのための代表画像だけ(又は最初の画像だけ)が表示される。例えば、接触は、タッチ感知面を横断してゆっくりと移動し、第2のエリアを左方向(又は右方向)にゆっくりとドラッグする、左方向(又は右方向)のドラッグジェスチャの一部分である。反対に、第2のエリアを第1の方向に移動させる間に接触が検出されなくなった場合、第2のエリアが第1の方向に移動し続ける間第2の代表画像の前に撮られたアニメーション表示された画像シーケンスが第2のエリアに表示される。例えば、接触は、タッチ感知面を横断して素早く移動し、第2のエリアを左方向(又は右方向)に依然として移動する間にリフトオフする、左方向(又は右方向)のフリックジェスチャの一部分である。例えば、接触は、(第2の画像シーケンスのための第2の代表画像又は最初の画像だけを第2のエリアに表示しながら)タッチ感知面を横断して移動し、次いで、第2のエリアの少なくとも既定量(例えば、25%、30%、40%又は50%)がディスプレイ内へ移動した後にリフトオフする、左方向(又は右方向)のドラッグジェスチャの一部分である。リフトオフ後、第2のエリアの残りは、ディスプレイ内へ移動し、第2の代表画像を取得する前にカメラが取得した第2の画像シーケンスのための画像のうちの少なくとも一部が、第2のエリアに表示される。
一部の実施形態では、移動可能な第2のエリアをディスプレイで第1の方向に移動することが、第2の代表画像を取得する前に取得されたそれぞれの前の画像を第2の領域に表示することを含む(例えば、デバイスは、代表画像ではなく、画像シーケンスにおける最初の画像を最初に表示する)(11018)。
一部の実施形態では、シーケンス表示基準は、(例えば、図7Y〜図7AAを参照して説明したように)接触のリフトオフを検出することを含む(11020)。接触のリフトオフを検出したことに応じて、デバイスは、移動可能な第2のエリアを第1の方向に移動し続け、移動可能な第1のエリアを第1の方向に移動し続ける。第2の画像シーケンスからの画像は、移動可能な第2のエリアが第1の方向に移動を停止した場合に第2の代表画像が移動可能な第2のエリアで表示されるレートで表示される(例えば、移動可能な第2のエリアの移動レートは、画像シーケンス間の移動レートに一致するように選択される、若しくは画像シーケンス間の進行レートは、移動可能な第2のエリアの移動レートに一致するように選択される、又はこれらの2つのなんらかの組み合わせ)。一部の実施形態では、デバイスは、移動可能な第1のエリアが移動する間に、移動可能な第1のエリアに対応する画像シーケンス間を進む。一部の実施形態では、デバイスは、移動可能な第1のエリアが移動する間に、移動可能な第1のエリアに対応する画像シーケンス間を進まない。
一部の実施形態では、移動可能な第1の領域を移動する間に、デバイスは、画像のためのシミュレーションされた視差効果を移動可能な第1の領域内で表示して、移動可能な第1の領域内の画像が、移動可能な第1の領域のフレームに対してシフトするようにする(例えば、移動可能な第1の領域のフレームが、移動可能な第1の領域内の画像から、シミュレーションされたZ方向に分離されているかのように)(11022)。
一部の実施形態では、接触が(例えば、第2の画像シーケンスからの画像を表示する前に)タッチ感知面上で検出されている間に移動可能な第2の領域を移動する間に、デバイスは、画像のためのシミュレーションされた視差効果を移動可能な第2の領域内で表示して、移動可能な第2の領域内の画像が、移動可能な第2の領域のフレームに対してシフトするようにする(例えば、移動可能な第2の領域のフレームが、移動可能な第2の領域内の画像から、シミュレーションされたZ方向に分離されているかのように)(11024)。
一部の実施形態では、第1のエリアを第1の方向に移動することが、第1のエリアの少なくとも一部分を第1の方向にディスプレイ外へ移動することを含む(11026)(例えば、図7A〜図7CC、第1のエリアをディスプレイ外へスライドする)。
一部の実施形態では、第2のエリアを第1の方向に移動することが、第2のエリアの少なくとも一部分を第1の方向にディスプレイ内へ移動することを含む(11028)(例えば、図7A〜図7CC、第1のエリアをディスプレイ外へスライドすると共に第2のエリアをディスプレイ内へスライドする)。
一部の実施形態では、第2のエリアを第1の方向に移動した後に、デバイスは、第2の画像シーケンスのための第2の代表画像を第2のエリアに表示する(11030)(例えば、中でも、図7CCに示すように)。
一部の実施形態では、第2の画像シーケンスのための第2の代表画像を第2のエリアに表示する間に、デバイスは、第2の代表画像に対応する入力の強度の変化を検出する(11032)。入力の強度の変化を検出したことに応じて、デバイスは、ディスプレイ上で第2のエリアを移動せずに、第2のエリアにおける第2の画像シーケンス間を進む(例えば、デバイスは、図6A〜図6FFに示す動作のいずれかを行う)。
一部の実施形態では、デバイスは、第1のエリア及び第2のエリアを移動する間に、ドラッグジェスチャの終了を検出する(11034)。第1のエリア及び第2のエリアを移動する間に、ドラッグジェスチャの終了を検出したことに応じて、ドラッグジェスチャが、次シーケンスナビゲーション基準を満たすという判定に従って、デバイスは、第1のエリアを第1の方向に完全にディスプレイ外へ移動し、第2のエリアを完全にディスプレイ内へ移動し、第2の画像シーケンスのための第2の代表画像を第2のエリアに表示する(例えば、方法1100の動作1136を参照して説明したように)。
一部の実施形態では、第1のエリア及び第2のエリアを移動する間に、ドラッグジェスチャの終了を検出したことに応じて、ドラッグジェスチャが、次シーケンスナビゲーション基準を満たしていないという判定に従って、デバイスは、第2のエリアを第1の方向とは反対の第2の方向に完全にディスプレイ外へ移動し、第1のエリアを完全にディスプレイ内へ移動し、第1の画像シーケンスのための第1の代表画像を第1のエリアに表示する(例えば、方法1100の動作1138を参照して説明したように)(11036)。
図11F〜図11Iにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法900、1000、10000、10050、1100、1200、2400、2500、2600及び2700)に関して本明細書で記載されている他のプロセスの詳細は、また、図11F〜図11Iに関連して上述されている方法11000に、類似の方法で適用可能であることも留意されたい。例えば、方法11000に関連して上述された、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスは、本明細書で説明される他の方法(例えば、方法900、1000、10000、10050、1100、1200、2400、2500、2600及び2700)に関連して本明細書で説明される、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスの特性のうちの1つ以上を、任意選択的に有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
図12A〜図12Bは、一部の実施形態に係る、個々の画像と異なる動作を関連画像シーケンスに対して行う方法1200の流れ図を示す。方法1200は、ディスプレイ及びタッチ感知面を備えた電子デバイス(例えば、図3のデバイス300又は図1Aのポータブル多機能デバイス100)にて実行される。一部の実施形態では、デバイスが、タッチ感知面との接触の強度を検出するための1つ以上のセンサを含む。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にある、又はディスプレイに一体化されている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法1200の一部の動作が任意選択的に、組み合わされ、かつ/又は一部の動作の順序が任意選択的に変えられる。
デバイスは、複数の画像シーケンスを記憶する(1202)。それぞれの画像シーケンスは、カメラが撮ったそれぞれの代表画像と、それぞれの代表画像を取得した後にカメラが取得した1つ以上の画像と、それぞれの代表画像を取得する前にカメラが取得した1つ以上の画像と、を含む。一部の実施形態では、それぞれの画像シーケンスを撮ったカメラは、電子デバイスの一部である。一部の実施形態では、それぞれの画像シーケンスは、電子デバイスの一部ではないカメラで撮られた(例えば、それぞれの画像シーケンスは、別のデバイスのカメラで撮られた後、電子デバイスに転送された)。一部の実施形態では、それぞれの画像シーケンスは、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて取得されている。一部の実施形態では、それぞれの画像シーケンスは、バーストモードで取得されている。一部の実施形態では、それぞれの代表画像は、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、カメラが取得した代表画像に対応する。一部の実施形態では、それぞれの代表画像は、それぞれの画像シーケンスにおける他の画像の解像度よりも高解像度である。一部の実施形態では、それぞれの代表画像は、それぞれの画像シーケンスにおける他の画像の解像度と同じ解像度である。
デバイスは、複数の画像シーケンスにおける画像とは異なる複数の画像を記憶する(1204)。複数の画像におけるそれぞれの画像は、複数の画像シーケンスにおける画像シーケンスの一部ではない。
デバイスは、ディスプレイ上に(例えば、図8Aに示すような)第1の画像を表示する(1206)。第1の画像をディスプレイ上に表示する間に、デバイスは、第1の入力を検出する(例えば、図8Bの長押し入力816)(1208)。第1の入力を検出したことに応じて(1210)、第1の画像が第1の画像シーケンスにおける画像である(例えば、第1の画像が、第1の画像シーケンスのための代表画像である)という判定に従って、デバイスは、第1の画像に加えて第1の画像シーケンスにおける画像のうちの少なくとも一部を表示する(例えば、第1の画像に加えて第1の画像シーケンスにおける画像のうちの少なくとも一部を順番に表示する)ことを含む第1の動作を行う(例えば、図8C〜図8Fに示すように)(1212)。第1の画像が、複数の画像シーケンスにおける画像とは異なる複数の画像における画像であるという判定に従って、デバイスは、第1の画像を含め、第1の動作とは異なる第2の動作を行う(1214)(例えば、図8K〜図8Lに示すように)。つまり、一部の実施形態では、デバイスは、画像が拡張写真の一部分か静止画像かに応じて、同じタイプの入力(例えば、1つ以上の共通の経路又は強度特性を共有する入力)に対しても異なった応答をする。様々な実施形態によれば、第1の動作は、画像シーケンスに関連して本明細書で説明される動作のいずれかである。以下、具体的な例を提供する。
一部の実施形態では、第1の入力は、長押しジェスチャであり、第1の動作が、第1の画像シーケンスの少なくとも一部分を表示し(例えば、図10A〜図10M及び方法1000/10000/10050に関連して本明細書で説明されるように)、第2の動作が、第1の画像と共に第1の画像に関する情報を表示する(例えば、図8K〜図8Lに示すように、時間、日付、(例えば、GPSを介する)位置及び/又は第1の画像に関する他のメタデータが第1の画像の一部分に重ね合わされる)(1216)。一部の実施形態では、長押しジェスチャは、タッチ感知ディスプレイ上の第1の画像上での長押し指ジェスチャ、又はカーソル若しくは他のフォーカスセレクタがディスプレイ上の第1の画像上にある間における、トラックパッド上での長押し指ジェスチャである。一部の実施形態では、第1の入力は、カーソル又は他のフォーカスセレクタがディスプレイ上の第1の画像上にある間における、マウスによるクリックアンドホールド入力である。
一部の実施形態では、第1の入力は、長押しジェスチャであり、第1の動作が、第1の画像シーケンスの少なくとも一部分を表示し(例えば、図10A〜図10M及び方法1000/10000/10050に関して本明細書で説明した)、第2の動作が、第1の画像の異なる部分を示すアニメーションを表示する(1218)。一部の実施形態では、長押しジェスチャは、タッチ感知ディスプレイ上の第1の画像上での長押し指ジェスチャ、又はカーソル若しくは他のフォーカスセレクタがディスプレイ上の第1の画像上にある間における、トラックパッド上での長押し指ジェスチャである。一部の実施形態では、第1の入力は、カーソル又は他のフォーカスセレクタがディスプレイ上の第1の画像上にある間における、マウスによるクリックアンドホールド入力である。例えば、第2の動作は、第1の画像をズーム及び/若しくはパンするアニメーション(Ken Burnsエフェクトなど)並びに/又は第1の画像にフィルタをかけるアニメーションである。一部の実施形態では、第2の動作は、第1の画像がディスプレイ内へ押し戻される印象を与えるために、画像からのズームアウトを含む。
一部の実施形態では、デバイスが、タッチ感知面との接触の強度を検出するための1つ以上のセンサを含み、第1の入力が、第1の接触強度基準を満足する指の接触を含み(例えば、タッチ感知ディスプレイ上の第1の画像上における指ジェスチャ、又はカーソル若しくは他のフォーカスセレクタがディスプレイ上の第1の画像上にある間における、トラックパッド上での指ジェスチャであって、入力の少なくとも一部分では指ジェスチャの接触が軽い押圧(又は深い押圧)強度閾値を上回る、指ジェスチャ)、第1の動作が、第1の画像シーケンスの少なくとも一部分を表示し(例えば、図10A〜図10M及び方法1000/10000/10050に関連して本明細書で説明されるように)、第2の動作が、第1の画像と共に第1の画像に関する情報を表示する(例えば、時間、日付、(例えば、GPSを介する)位置及び/又は第1の画像に関する他のメタデータが第1の画像の一部分に重ね合わされる)(1220)。
一部の実施形態では、デバイスが、タッチ感知面との接触の強度を検出するための1つ以上のセンサを含み、第1の入力が、第1の接触強度基準を満足する指の接触を含み(例えば、タッチ感知ディスプレイ上の第1の画像上における指ジェスチャ、又はカーソル若しくは他のフォーカスセレクタがディスプレイ上の第1の画像上にある間における、トラックパッド上での指ジェスチャであって、入力の少なくとも一部分では指ジェスチャの接触が深い押圧強度閾値を上回る、指ジェスチャ)、第1の動作が、第1の画像シーケンスの少なくとも一部分を表示し(例えば、図10A〜図10M及び方法1000/10000/10050に関連して本明細書で説明されるように)、第2の動作が、第1の画像の異なる部分を示すアニメーションを表示する(1222)。例えば、第2の動作は、第1の画像をズーム及び/若しくはパンするアニメーション(Ken Burnsエフェクトなど)並びに/又は第1の画像にフィルタをかけるアニメーションである。一部の実施形態では、第2の動作は、第1の画像がディスプレイ内へ押し戻される印象を与えるために、画像からのズームアウトを含む。
一部の実施形態では、第1の入力がドラッグジェスチャであり、第1の画像を表示することから第2の画像を表示することへ移行する(第2の画像が第1の画像シーケンスにおける画像ではない)間に、第1の動作が、第1の画像シーケンスにおける画像のうちの少なくとも一部を表示し(例えば、図10A〜図10M及び方法1000/10000/10050に関して本明細書で説明したように)、第2の動作が、第1の画像を表示することから第3の画像を表示することへ移行する(第3の画像が第1の画像シーケンスにおける画像ではない)(1224)。
一部の実施形態では、第1の画像が第1の画像シーケンスにおける画像である場合、本方法は、ナビゲーション入力を検出することと、複数の画像シーケンスにおける画像とは異なる、複数の画像における画像である第2の画像にナビゲートすることと、を更に含む。本方法は、1つ以上の特性を、第1の入力と共有する第2の入力(例えば、強度及び/又は経路入力)を検出することを更に含む。一部の実施形態では、第1の入力及び第2の入力は、位置を共有する必要はない。本方法は、第2の入力を検出したことに応じて、第2の画像を含む第2の動作を行うことを更に含む。
図12A〜12Bにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。加えて、本明細書に記載の他の方法(例えば、方法900、1000、10000、10050、1100、11000、2400、2500、2600及び2700)に関して本明細書で記載されている他のプロセスの詳細は、また、図12A〜図12Bに関連して上述されている方法1200に、類似の方法で適用可能であることも留意されたい。例えば、方法1200に関連して上述された、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスは、本明細書で説明される他の方法(例えば、方法900、1000、10000、10050、1100、11000、2400、2500、2600及び2700)に関連して本明細書で説明される、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスの特性のうちの1つ以上を、任意選択的に有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
一部の実施形態によれば、図13は、説明される様々な実施形態の原理に従って構成された、電子デバイス1300の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、任意選択的に実装される。図13で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に、組み合わされ、又はサブブロックに分割されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を任意選択的に支持する。
図13に示すように、電子デバイス1300は、画像を取得するように構成されたカメラユニット1304と、(例えば、カメラユニットから取得された画像の)ライブプレビューを表示するように構成されたディスプレイユニット1302と、シャッターボタンのアクティブ化を検出するように構成された1つ以上の任意選択のセンサユニット1306と、ディスプレイユニット1302、カメラユニット1304及び1つ以上の任意選択のセンサユニット1306に接続された処理ユニット1308と、を備える。一部の実施形態では、処理ユニット1308は、表示可能化ユニット1310と、グループ化ユニット1312と、関連付けユニット1314と、アニメーション表示ユニット1316とを含む。
処理ユニット1308は、カメラユニット1304のための第1のメディア取得モードにある間に、(例えば、カメラユニット1304から取得された画像の)ライブプレビューをディスプレイユニット1302上に(例えば、表示可能化ユニット1310を使用して)表示し、ライブプレビューを表示する間に、第1の時間におけるシャッターボタンのアクティブ化を(例えば、センサユニット1306を使用して)検出するように構成される。第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて、処理ユニット1308は、第1の時間におけるシャッターボタンのアクティブ化の時間的近傍でカメラユニット1304が取得した複数の画像を第1の画像シーケンスへと(例えば、グループ化ユニット1312によって)グループ化するように構成される。第1の画像シーケンスは、第1の時間におけるシャッターボタンのアクティブ化を検出する前にカメラユニット1304が取得した複数の画像と、第1の画像シーケンスを代表し、かつ第1の画像シーケンスにおける他の画像のうちの1つ以上の後にカメラユニット1304が取得した、代表画像と、代表画像を取得した後にカメラユニット1304が取得した複数の画像と、を含む。
図14に示すように、電子デバイス1400は、画像を表示するように構成された表示ユニット1402と、ユーザ入力を検出するように構成されたタッチ感知面ユニット1404と、タッチ感知面ユニット1404との接触の強度を検出するように構成された1つ以上のセンサユニット1406と、ディスプレイユニット1402、タッチ感知面ユニット1404及び任意選択の1つ以上のセンサユニット1406に接続された処理ユニット1408とを含む。一部の実施形態では、処理ユニット1408は、表示可能化ユニット1410と、検出ユニット1412と、音声提示ユニット1414と、を含む。
処理ユニット1408は、ディスプレイユニット1402上に代表画像を(例えば、表示可能化ユニット1410によって)表示するように構成される。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含み、画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。処理ユニット1408は、代表画像をディスプレイユニット1402上に表示する間に、第1の入力の第1の部分を(例えば、タッチ感知面ユニット1404上への入力を任意選択的に検出する、検出ユニット1412によって)検出するように更に構成される。処理ユニット1408は、第1の入力の第1の部分を検出したことに応じて、(例えば、表示可能化ユニット1410による)代表画像の表示を、ディスプレイユニット1402上で、代表画像を取得した後にカメラが取得した1つ以上の画像の順番での表示と置き換えるように構成される。処理ユニット1408は、第1の入力の第1の部分を検出した後に、第1の入力の第2の部分を(例えば、検出ユニット1412によって)検出することを行うように構成される。処理ユニット1408は、第1の入力の第2の部分を検出したことに応じて、代表画像を取得する前にカメラが取得した1つ以上の画像と、代表画像と、代表画像を取得した後にカメラが取得した1つ以上の画像と、をディスプレイユニット1402上に順番に表示するように構成される。
図15に示すように、電子デバイス1500は、画像を表示するように構成されたディスプレイユニット1502と、ユーザ入力を検出するように構成されたタッチ感知面ユニット1504と、タッチ感知面ユニット1504との接触の強度を検出するように構成された1つ以上の任意選択のセンサユニット1506と、画像を記憶するように構成されたメモリユニット1516と、ディスプレイユニット1502、タッチ感知面ユニット1504、メモリユニット1516及び任意選択の1つ以上のセンサユニット1506に接続された処理ユニット1508とを備える。一部の実施形態では、処理ユニット1508は、表示可能化ユニット1510と、検出ユニット1512と、基準判定ユニット1514と、を含む。
処理ユニット1508は、複数の画像シーケンスをメモリユニット1516に記憶するように構成される。それぞれの画像シーケンスは、カメラが撮ったそれぞれの代表画像と、それぞれの代表画像を取得した後にカメラが取得した1つ以上の画像と、それぞれの代表画像を取得する前にカメラが取得した1つ以上の画像と、を含む。処理ユニット1508は、ディスプレイユニット1502上で、第1の画像シーケンスのための第1の代表画像をディスプレイユニット1502上の移動可能な第1のエリアに(例えば、表示可能化ユニット1510によって)表示するように更に構成される。処理ユニット1508は、タッチ感知面ユニット1504上でドラッグジェスチャを(例えば、検出ユニット1512によって)検出するように更に構成される。ドラッグジェスチャがタッチ感知面ユニット1504上において第1の方向であるという判定に従って、処理ユニット1508は、移動可能な第1のエリアにおいて、第1の画像シーケンスのための第1の代表画像の表示を、ディスプレイユニット1502上で、第1の画像シーケンスのための第1の代表画像を取得した後にカメラが取得した第1の画像シーケンスのための1つ以上の画像のうちの少なくとも一部の時系列表示と(例えば、表示可能化ユニット1510によって)置き換えるように構成される。処理ユニット1508は、第1のエリアをディスプレイユニット1502上で第1の方向に(例えば、表示可能化ユニット1510によって)移動するように更に構成される。
図16に示すように、電子デバイス1600は、画像を表示するように構成された表示ユニット1602と、ユーザ入力を検出するように構成されたタッチ感知面ユニット1604と、タッチ感知面ユニット1604との接触の強度を検出するように構成された1つ以上のセンサユニット1606と、画像を記憶するように構成されたメモリユニット1616と、ディスプレイユニット1602、タッチ感知面ユニット1604、メモリユニット1616及び任意選択の1つ以上のセンサユニット1606に接続された処理ユニット1608とを備える。いくつかの実施形態では、処理ユニット1608は、表示可能化ユニット1610と、検出ユニット1612と、判定ユニット1614と、を含む。
処理ユニット1608は、複数の画像シーケンスをメモリユニット1616に記憶するように構成される。それぞれの画像シーケンスは、カメラが撮ったそれぞれの代表画像と、それぞれの代表画像を取得した後にカメラが取得した1つ以上の画像と、それぞれの代表画像を取得する前にカメラが取得した1つ以上の画像と、を含む。処理ユニット1608は、複数の画像シーケンスにおける画像とは異なる複数の画像をメモリユニット1616に記憶するように更に構成される。複数の画像におけるそれぞれの画像は、複数の画像シーケンスにおける画像シーケンスの一部ではない。処理ユニット1608は、ディスプレイユニット1602上に第1の画像を(例えば、表示可能化ユニット1610によって)表示するように更に構成される。処理ユニット1608は、ディスプレイユニット1602上に第1の画像を表示する間に、第1の入力を(例えば、検出ユニット1612によって)検出するように更に構成される。処理ユニット1608は、第1の入力を検出したことに応じて、第1の画像が第1の画像シーケンスにおける画像であるという(例えば、判定ユニット1614による)判定に従って、第1の画像に加えて第1の画像シーケンスにおける画像のうちの少なくとも一部をディスプレイユニット1602上に(例えば、表示可能化ユニット1610によって)表示することを含む第1の動作を行うことと、第1の画像が複数の画像シーケンスにおける画像とは異なる複数の画像における画像であるという(例えば、判定ユニット1614による)判定に従って、第1の画像を含め、第1の動作とは異なる第2の動作を行うことと、を行うように更に構成される。
図17に示すように、電子デバイス1700は、画像を表示するように構成されたディスプレイユニット1702と、ユーザ入力を検出するように構成されたタッチ感知面ユニット1704と、タッチ感知面ユニット1704との接触の強度を検出するように構成された1つ以上の任意選択のセンサユニット1706と、ディスプレイユニット1702、タッチ感知面ユニット1704及び任意選択の1つ以上のセンサユニット1706に接続された処理ユニット1708と、を備える。一部の実施形態では、処理ユニット1708は表示有効化ユニット1710と、検出ユニット1712と、移行ユニット1714と、提示ユニット1716とを含む。
処理ユニット1708は、ディスプレイユニット1702上に代表画像を(例えば、表示可能化ユニット1710によって)表示可能とするように構成される。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。処理ユニット1708は、ディスプレイユニット1702上に代表画像を表示可能とする間に、第1の入力の第1の部分を(例えば、検出ユニット1712によって)検出するように更に構成される。処理ユニット1708は、第1の入力の第1の部分を検出したことに応じて、代表画像を表示することから画像シーケンスにおけるそれぞれの前の画像を表示することへ(例えば、移行ユニット1714によって)移行するように更に構成される。それぞれの前の画像は、代表画像を取得する前にカメラが取得したものである。処理ユニット1708は、第1の入力の第1の部分を検出したことに応じて、代表画像を表示することからそれぞれの前の画像を表示することへ移行した後に、それぞれの前の画像から開始して順番に、代表画像を取得する前にカメラが取得した1つ以上の画像のうちの少なくとも一部と、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部と、を(例えば、表示可能化ユニット1710によって)表示可能とするように更に構成される。
図18に示すように、電子デバイス1800は、画像を表示するように構成されたディスプレイユニット1802と、ユーザ入力を検出するように構成されたタッチ感知面ユニット1804と、タッチ感知面ユニット1804との接触の強度を検出するように構成された1つ以上のセンサユニット1806と、ディスプレイユニット1802、タッチ感知面ユニット1804及び1つ以上のセンサユニット1806に接続された処理ユニット1808と、を備える。一部の実施形態では、処理ユニット1808は、表示可能化ユニット1810と、検出ユニット1812と、移動ユニット1814と、を含む。
処理ユニット1808は、ディスプレイユニット1802上に代表画像を(例えば、表示可能化ユニット1810によって)表示可能とするように構成される。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。処理ユニット1808は、ディスプレイユニット1802上に代表画像を表示可能とする間に、タッチ感知面ユニット1804上への接触の特性強度が第1の強度閾値よりも大きい第1の強度まで増加したことを(例えば、センサユニット1804によって)検出することを含む、第1の入力を(例えば、検出ユニット1812によって)検出することを行うように更に構成される。処理ユニット1808は、接触の特性強度が増加したことを検出したことに応じて、代表画像を取得した後にカメラが取得した1つ以上の画像間を第1の方向に第1の強度に少なくとも部分的に基づいて決定されたレートで(例えば、移動ユニット1814によって)進むように更に構成される。処理ユニット1808は、代表画像を取得した後にカメラが取得した1つ以上の画像間を第1の強度に基づいて決定されたレートで進んだ後、接触の強度が第1の強度未満である第2の強度まで減少したことを(例えば、検出ユニット1812によって)検出するように更に構成される。処理ユニット1808は、接触の特性強度が第2の強度まで減少したことを検出したことに応じて、第2の強度が第1の強度閾値を上回っているという判定に従って、代表画像を取得した後にカメラが取得した1つ以上の画像間を第1の方向に第2のレートで(例えば、移動ユニット1814によって)進み続けるように更に構成される。第2のレートは、第2の強度に少なくとも部分的に基づいて決定され、第2のレートは、第1のレートよりも遅い。処理ユニット1808は、接触の特性強度が第2の強度まで減少したことを検出したことに応じて、第2の強度が第1の強度閾値を下回っているという判定に従って、代表画像を取得した後にカメラが取得した1つ以上の画像間を、第1の方向とは反対の第2の方向に、第2の強度に少なくとも部分的に基づいて決定されたレートで(例えば、移動ユニット1814によって)移動するように更に構成される。
図19に示すように、電子デバイス1900は、画像を表示するように構成されたディスプレイユニット1902と、ユーザ入力を検出するように構成されたタッチ感知面ユニット1904と、タッチ感知面ユニット1904との接触の強度を検出するように構成された1つ以上の任意選択のセンサユニット1906と、ディスプレイユニット1902、タッチ感知面ユニット1904及び任意選択の1つ以上のセンサユニット1906に接続された処理ユニット1908と、を備える。一部の実施形態では、処理ユニット1908は、表示可能化ユニット1910と、検出ユニット1912と、記憶ユニット1914と、移動ユニット1916と、進行ユニット1918と、を備える。
処理ユニット1908は、複数の画像シーケンスを(例えば、記憶ユニット1914によって)記憶するように構成される。それぞれの画像シーケンスは、カメラが撮ったそれぞれの代表画像と、それぞれの代表画像を取得する前にカメラが取得した1つ以上の画像と、を含む。処理ユニット1908は、第1の画像シーケンスのための第1の代表画像をディスプレイユニット1902上の移動可能な第1のエリアに(例えば、表示可能化ユニット1910によって)表示可能とするように更に構成される。処理ユニット1908は、タッチ感知面ユニット1904上でジェスチャを(例えば、検出ユニット1912によって)検出することであって、ジェスチャが、ディスプレイユニット1902上での第1の方向への移動に対応する接触による移動を含む、ことを行うように更に構成される。処理ユニット1908は、タッチ感知面ユニット1904上でジェスチャを検出したことに応じて、第1のエリアをディスプレイユニット1902上で第1の方向に(例えば、移動ユニット1916によって)移動することと、移動可能な第2のエリアをディスプレイユニット1902上で第1の方向に(例えば、移動ユニット1916によって)移動することと、シーケンス表示基準が満たされているという判定に従って、第2のエリアを第1の方向に移動する間に、第2の画像シーケンスのための第2の代表画像を取得する前にカメラが取得した第2の画像シーケンスのための1つ以上の画像のうちの少なくとも一部を、第2のエリアにおいて時系列で(例えば、表示可能化ユニット1910によって)表示可能とすることと、を行うように更に構成される。
図20A〜図20Lは、一部の実施形態に係る、画像シーケンスにおける画像を修正するための例示的なユーザインタフェースを示す図である。これらの図におけるユーザインタフェースは、図9A〜図9G、図10A〜図10M、図11A〜図11I、図12A〜図12B、図24A〜図24E、図25A〜図25C、図26A〜図26D及び図27A〜図27Eにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。以下の例は、(タッチ感知面とディスプレイとが組み合わされている)タッチスクリーンディスプレイ上の入力に関連して説明されるが、一部の実施形態において、デバイスは、図4Bに示すように、ディスプレイ450とは別個のタッチ感知面451上で入力を検出する。
図20Aは、プラットフォームに近づいてくる列車を示す画像シーケンス2002を示す。画像シーケンスは、代表画像2002−3と、代表画像2002−3を取得する前にカメラが取得した画像2002−1及び2002−2と、代表画像2002−3を取得した後にカメラが取得した画像2002−4及び2002−5と、を含む。画像シーケンス2002の時系列は、画像2002−1、画像2002−2、代表画像2002−3、画像2002−4及び画像2002−5の順番である。
図20Bは、デバイス100が写真編集ユーザインタフェースにある間に、ディスプレイ上に代表画像2002−3を表示するデバイス100を示す。写真編集ユーザインタフェースは、代表画像2002−3を編集するためのアフォーダンス2004(例えば、クロップアフォーダンス2004−1、フィルタアフォーダンス2004−2、明るさアフォーダンス2004−3)を含む。この例では、ユーザが明るさアフォーダンス2004−3を既に選択し、かつ代表画像2002−3のコントラストを修正したと仮定されている(図20Aに示す代表画像2002−3と比べて、図20Bに示す代表画像2002−3は、そのコントラストを上げてある)。
写真編集ユーザインタフェースはまた、第1の編集モード(例えば、すべてに適用編集モード)と第2の編集モード(例えば、単一画像編集モード)との間を切り替えるためのアフォーダンス2006(例えば、トグルスイッチ)を含む。図20Bでは、トグルスイッチ2006は第2の編集モードに設定され、その結果、デバイス100がユーザ入力2008(例えば、代表画像を修正する入力)を検出した場合、デバイス100は、代表画像2002−3を取得した後にカメラが取得した1つ以上の画像(例えば、画像2002−4及び2002−5)を修正せずに、かつ代表画像2002−3を取得する前にカメラが取得した1つ以上の画像(例えば、画像2002−1及び2002−2)を修正せずに、代表画像2002−3を修正する。
対照的に、図20Iでは、トグルスイッチ2006は第1の編集モード(例えば、すべてに適用モード)に設定され、その結果、デバイス100がユーザの修正を適用するユーザ入力2008を検出した場合、デバイス100は、代表画像2002−3と、代表画像2002−3を取得した後にカメラが取得した1つ以上の画像(例えば、画像2002−4及び2002−5)と、代表画像2002−3を取得する前にカメラが取得した1つ以上の画像(例えば、画像2002−1及び2002−2)と、を修正する。
代表画像2002−3のみが修正される例に戻ると(例えば、図20B以降)、図20C〜図20Hは、代表画像のみが修正された画像シーケンスを再生するための様々な実施形態を示す。
特に、図20C〜図20Dに示すように、一部の実施形態では、代表画像2002−3のみを修正した後、代表画像2002−3を表示する間に、デバイス100は、画像シーケンス2002を再生する要求であるユーザ入力2010を受ける。図20Cに示すように、画像シーケンス2002を再生するユーザ入力2010の第1の部分に応じて、デバイス100は、代表画像2002−3の表示を、代表画像2002−3の後に取得された画像(例えば、画像2002−4及び画像2002−5)のうちの少なくとも一部と置き換える。図20Dに示すように、画像シーケンス2002を再生するユーザ入力2010の第2の部分に応じて、デバイス100は、代表画像2002−3を取得する前にカメラが取得した1つ以上の画像(例えば、画像2002−1及び画像2002−2)のうちの少なくとも一部と、修正された代表画像2002−3と、代表画像2002−3を取得した後にカメラが取得した1つ以上の画像(例えば、画像2002−4及び画像2002−5)のうちの少なくとも一部と、を順番に表示する。つまり、一部の実施形態では、代表画像2002−3は、修正された形態で再生される。
図20E〜図20Fは、代表画像2002−3のみを修正した後、修正された代表画像2002−3を表示する間に、デバイス100は、画像シーケンス2002を再生する要求であるユーザ入力2012を受ける、別の例を示す。図20Eに示すように、画像シーケンス2002を再生するユーザ入力2012の第1の部分に応じて、デバイス100は、代表画像2002−3の表示を、代表画像2002−3の後に取得された画像(例えば、画像2002−4及び画像2002−5)のうちの少なくとも一部と置き換える。図20Fに示すように、画像シーケンス2002を再生するユーザ入力2012の第2の部分に応じて、デバイス100は、代表画像2002−3を取得する前にカメラが取得した1つ以上の画像(例えば、画像2002−1及び画像2002−2)のうちの少なくとも一部と、修正されていない代表画像2002−3と、代表画像2002−3を取得した後にカメラが取得した1つ以上の画像(例えば、画像2002−4及び画像2002−5)のうちの少なくとも一部と、を順番に表示する。つまり、一部の実施形態では、代表画像2002−3は、再生用に未修正形態に戻る。
図20G〜図20Hは、代表画像2002−3のみを修正した後、修正された代表画像2002−3を表示する間に、デバイス100は、画像シーケンス2002を再生する要求であるユーザ入力2014を受ける、別の例を示す。図20Gに示すように、画像シーケンス2002を再生するユーザ入力2014の第1の部分に応じて、デバイス100は、代表画像2002−3の表示を、代表画像2002−3の後に取得された画像(例えば、画像2002−4及び画像2002−5)のうちの少なくとも一部と置き換える。図20Hに示すように、画像シーケンス2002を再生するユーザ入力2014の第2の部分に応じて、デバイス100は、代表画像2002−3を取得する前にカメラが取得した1つ以上の画像(例えば、画像2002−1及び画像2002−2)のうちの少なくとも一部と、代表画像2002−3を取得した後にカメラが取得した1つ以上の画像(例えば、画像2002−4及び画像2002−5)のうちの少なくとも一部と、を順番に表示する。つまり、一部の実施形態では、代表画像2002−3は、一度修正されると、全体の再生では省略される。
上述のように、図20Iでは、トグルスイッチ2006は第1の編集モード(例えば、すべてに適用モード)に設定され、その結果、デバイス100がユーザの修正を適用するユーザ入力2008を検出した場合、デバイス100は、代表画像2002−3と、代表画像2002−3を取得した後にカメラが取得した1つ以上の画像(例えば、画像2002−4及び2002−5)と、代表画像2002−3を取得する前にカメラが取得した1つ以上の画像(例えば、画像2002−1及び2002−2)と、を修正する。
図20J〜図20Kは、一部の実施形態に係る、画像シーケンスにおける画像のすべてが修正されている、画像シーケンスの再生を示す。修正された代表画像2002−3を表示する間に、代表画像2002−3と、代表画像2002−3を取得した後にカメラが取得した1つ以上の画像(例えば、画像2002−4及び2002−5)と、代表画像2002−3を取得する前にカメラが取得した1つ以上の画像(例えば、画像2002−1及び2002−2)と、を修正した後、デバイス100は、画像シーケンス2002を再生する要求であるユーザ入力2016を受ける。図20Jに示すように、画像シーケンス2002を再生するユーザ入力2016の第1の部分に応じて、デバイス100は、代表画像2002−3の表示を、代表画像2002−3の後に取得された修正された画像(例えば、画像2002−4及び画像2002−5)のうちの少なくとも一部と置き換える。図20Kに示すように、画像シーケンス2002を再生するユーザ入力2016の第2の部分に応じて、デバイス100は、代表画像2002−3を取得する前にカメラが取得した1つ以上の画像(例えば、画像2002−1及び画像2002−2)のうちの少なくとも一部と、代表画像2002−3を取得した後にカメラが取得した1つ以上の画像(例えば、画像2002−4及び画像2002−5)のうちの少なくとも一部と、を順番に表示する。つまり、一部の実施形態では、画像シーケンスにおける画像のすべてが修正された場合、デバイス100は、すべての画像が修正された状態で、画像シーケンスを再生する。
一部の実施形態では、上記の例のいずれかにおける、代表画像2002−3の表示と、代表画像2002−3の後に取得された画像(例えば、画像2002−4及び画像2002−5)のうちの少なくとも一部との置き換えではなく、デバイス100は、代表画像2002−3の表示を、代表画像2002−3の前に取得されたそれぞれの画像の表示と置き換える(例えば、図20C、図20E、図20G及び図20Jに示す再生を省略する)。より一般的には、画像シーケンスにおける代表画像のみが修正される場合、本明細書のいたるところで説明される画像シーケンスの再生のための実施形態のいずれかは(例えば、図6A〜図6FF、図7A〜図7CC、図8A〜図8L、方法600、方法700及び/又は方法800)、任意選択的に、修正された画像を省略した状態で行われる、その未修正形態に戻される、又は再生の際、修正されたものとしてとして含まれる。同様に、画像シーケンスにおける画像のすべてが修正された場合、本明細書のいたるところで説明される画像シーケンスの再生のための実施形態のいずれかは(例えば、図6A〜図6FF、図7A〜図7CC、図8A〜図8L、方法600、方法700及び/又は方法800)、任意選択的に、修正された画像シーケンスで行われる。
一部の状況では、追加的な画像を修正せずに代表画像を修正することにより、拡張写真の再生時に不連続を生じる。例えば、図20Lに示すように、一部の実施形態では、トグルスイッチ2006が「オフ」に設定されている場合、デバイス100は、代表画像2002−3をクロップする(例えば、又は回転する)ためのユーザ入力2022を検出する。しかしながら、代表画像2002−3がクロップ/回転された場合、図20C〜図20Hを参照して上述したように拡張写真を再生することにより、代表画像2002−3を表示した時に「ジャンプ」を生じる。よって、一部の実施形態では、代表画像2002−3を取得した後にカメラが取得した1つ以上の画像を修正せずに、かつ代表画像2002−3を取得する前にカメラが取得した1つ以上の画像を修正せずに、特定の修正(例えば、クロップ及び/又は回転)を代表画像2002−3に施した場合、デバイス100は、追加的な画像の再生を自動的に停止する、追加的な画像を削除する、又は修正された代表画像を新しいファイルに静止画像として保存させる。一部の実施形態では、デバイス100は、警告2018をユーザに提供する。一部の実施形態では、デバイス100は、任意選択2020をユーザに提供する。例えば、デバイス100は、編集された画像を新しい静止画像として保存する任意選択2020−1と、画像シーケンス(例えば、拡張写真)における余分な画像を削除する任意選択2020−2と、すべてに適用編集モードに入る任意選択2020−3と、キャンセルする任意選択2020−4と、をユーザに提供する。
図21A〜図21Jは、一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信するための例示的なユーザインタフェースを示す図である。これらの図におけるユーザインタフェースは、図9A〜図9G、図10A〜図10M、図11A〜図11I、図12A〜図12B、図24A〜図24E、図25A〜図25C、図26A〜図26D及び図27A〜図27Eにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。以下の例は、(タッチ感知面とディスプレイとが組み合わされている)タッチスクリーンディスプレイ上の入力に関連して説明されるが、一部の実施形態において、デバイス100は、図4Bに示すように、ディスプレイ450とは別個のタッチ感知面451上で入力を検出する。
図21A〜図21Jは、画像シーケンスからの代表画像をディスプレイ上に表示する間に、デバイス100が、画像シーケンスからの代表画像を送信する要求又は送信するために画像シーケンスから代表画像を選択する要求に対応する入力を検出する、2つの例示的なシナリオを示す。第2の電子デバイスが、グループとして画像シーケンスと双方向作用するように構成されている(例えば、第2の電子デバイスが、図6A〜図6FF、図7A〜図7CC及び/又は図8A〜図8Lで説明した双方向作用を行うように構成される)場合、デバイス100は、画像シーケンスのうちの少なくとも一部分を第2の電子デバイスに送信するための第1の1組の任意選択を表示する(例えば、図21Cに示すように)。反対に、第2の電子デバイスが、グループとして画像シーケンスと双方向作用するように構成されていない場合、デバイス100は、画像シーケンスのうちの少なくとも一部分を第2の電子デバイスに送信するための第2の1組の任意選択を表示する(例えば、図21Dに示すように)。
図21A〜図21Dは、画像シーケンスからの代表画像を送信するための任意選択が、送信するための代表画像を選択するユーザ要求に応じて提供されるシナリオを示す。図21Aは、デバイス100上での会話(例えば、メッセージングアプリケーション/メッセージングユーザインタフェース2102における会話)を示す。会話は、第2の電子デバイスのユーザ(ステファニー)との会話である。一部の実施形態では、デバイス100のユーザが、送信するための代表画像の選択を要求する場合、送信するための代表画像の要求のプロセスは、第2のデバイスとの会話の中から起こることから、デバイス100には、代表画像の宛先(例えば、第2の電子デバイス)が分かっている。
そのため、図21Aに示すように、デバイス100は、会話にメディアを追加する(例えば、静止写真、拡張写真、動画又は任意の他のタイプのメディアを追加する)ためのアフォーダンス2106を選択するユーザ入力2104(例えば、タップジェスチャ)を検出する。
図21Bは、ユーザ入力2104(図21A)に応じて、デバイスが、第2の電子デバイスのユーザに送信する写真を選択するための任意選択をユーザに提供するユーザインタフェース2108を提供することを示す。ユーザインタフェース2108は、選択可能な画像2110(例えば、画像2110−aから画像2110−c)を有する領域を含む。一部の実施形態では、選択可能な画像2110は、最近の写真の表現(例えば、最も最近の3つ又は5つの写真)である。ユーザインタフェース2108は、ユーザの写真ライブラリから写真を選択するための任意選択2112と、写真又は動画を(例えば、デバイス100に内蔵したカメラで)撮るための任意選択2114と、メディアの追加をキャンセルするための任意選択2116と、を含む。
この例では、デバイス100は、第2のデバイスのユーザに送信するための画像2110−bを選択する要求であるユーザ入力2116を検出する。説明の目的のために、この例では、画像2110−bは、代表画像2110−bの前に取得された画像及び/又は代表画像2110−bの後に取得された画像を含む画像シーケンスからの代表画像(例えば、拡張写真からの代表画像)である。
図21Cに示すように、ステファニーのデバイス(第2の電子デバイス)が、グループとして画像シーケンスと双方向作用するように構成されているため、デバイス100は、画像シーケンスのうちの少なくとも一部分を第2の電子デバイスに送信するための第1の1組の任意選択2118を表示する。一部の実施形態では、第1の1組の任意選択2118は、画像シーケンス全体を送信する(例えば、拡張写真を送信する)任意選択2118−aと、代表画像2110−bの前に取得された画像を送信せず、かつ代表画像2110−bの後に取得された画像を送信せずに、代表画像を送信する(例えば、代表画像2110−bのみを静止画像として送信する)ための任意選択2118−bと、画像シーケンスの少なくとも一部分をアニメーション表示化画像フォーマット(例えば、GIFフォーマット)に変換するための任意選択2118−cと、画像シーケンスの少なくとも一部分を動画フォーマット(例えば、MPEGフォーマット)に変換するための任意選択2118−dと、キャンセルする任意選択2118−eと、を含む。デバイス100はまた、第2の電子デバイスに送信するために画像2110−bが選択されたという指標2120を表示する。
対照的に、図21Dは、画像シーケンスの少なくとも一部分を第2の電子デバイスに送信するための第2の1組の任意選択2122を示す。この例では、第2の電子デバイス(例えば、ロバートのデバイス)がグループとして画像シーケンスと双方向作用するように構成されていないことから、第2の1組の任意選択2122が表示される。第2の1組の任意選択2122に到達するプロセスは、図21A〜図21Cを参照して説明したような、第1の1組の任意選択2118に到達するプロセスと類似する。つまり、一部の実施形態では、第2の1組の任意選択2122は、デバイス100のユーザが、ロバートとの会話の間に、会話にメディアを追加するためのアフォーダンス(例えば、図21Aのアフォーダンス2106)を選択し、次いで、ロバートのデバイスに送信するために画像シーケンスからの代表画像を選択(例えば、入力2116に類似するユーザ入力によって、画像2110−bを選択)した後に表示される。
第2の1組の任意選択2122は、代表画像2110−bの前に取得された画像を送信せず、かつ代表画像2110−bの後に取得された画像を送信せずに、代表画像を送信する(例えば、代表画像2110−bのみを静止画像として送信する)ための任意選択2122−aと、画像シーケンスの少なくとも一部分をアニメーション表示化画像フォーマット(例えば、GIFフォーマット)に変換するための任意選択2122−bと、画像シーケンスの少なくとも一部分を動画フォーマット(例えば、MPEGフォーマット)に変換するための任意選択2122−cと、キャンセルする任意選択2122−dと、を含む。デバイス100はまた、第2の電子デバイスに送信するために画像2110−bが選択されたという指標2120を表示する。一部の実施形態では、ロバートのデバイスが、グループとして画像シーケンスと双方向作用するように構成されていないため、第2の1組の任意選択2122は、画像シーケンス全体を送信する(例えば、拡張写真を送信する)任意選択を含まない。
図21E〜図21Jは、画像シーケンスからの代表画像を送信するための任意選択が、代表画像を送信するユーザ要求に応じて提供されるシナリオを示す。図21Eは、デバイス100上のカメラロールユーザインタフェース2124を示す。カメラロールユーザインタフェース2124は、任意選択的に写真、拡張写真又は動画の表現である、画像2126及び他の画像2129(例えば、画像2129−1から画像2129−8)を表示する。この例では、デバイス100のユーザは、会話内からカメラロールユーザインタフェース2124にナビゲートされたのではない(例えば、ホーム画面からユーザインタフェース2124にナビゲートされている)と仮定されている。よって、図21E〜図21Jに示す例では、ユーザが画像2126を(例えば、図21Eのユーザ入力2128を介して)選択した場合、又は画像2126の共有を(例えば、図21Fのユーザ入力2132を介して)要求した場合、デバイス100は、代表画像の宛先(例えば、第2の電子デバイス)をまだ把握していない。よって、デバイス100は、受信側の第2の電子デバイスがグループとして画像シーケンスと双方向作用するように構成されているか否かに応じて、異なる第1の任意選択又は第2の任意選択をまだ表示できない。そうではなく、以下に説明するように、第1の任意選択又は第2の任意選択は、ユーザが画像を送信するように要求した場合、宛先が分かると表示される。
そのため、図21Eは、カメラロールユーザインタフェース2124内から画像2126を選択する、ユーザ入力2128を示す。この例では、画像2126は、画像シーケンスからの代表画像であると仮定されている。
図21Fに示すように、ユーザ入力2128に応じて、デバイス100は、画像2126を画像閲覧ユーザインタフェース2130に表示する。図21Fはまた、(例えば、共有アフォーダンス2134を選択することによる)画像2126の共有を要求するユーザ入力2132を示す。
図21Gに示すように、ユーザ入力2132に応じて、デバイス100は、共有ユーザインタフェース2138を表示する。共有ユーザインタフェース2138が画像2126を共有する要求に応じて表示されていることから、画像2126は、画像2126の時間的近傍で取得されたいくつかの画像(例えば、3つの画像、5つの画像など)を示す共有ユーザインタフェース2138の領域2140において予め選択される。共有ユーザインタフェースはまた、メッセージプロトコル共有任意選択2142−aと、メールプロトコル共有任意選択2142−bと、ソーシャルメディアプロトコル共有任意選択2142−cと、を含む、画像2126を共有するプロトコルを選択するためのプロトコルベースの共有任意選択を含む。図21Gでは、ユーザは、図21Hに示す会話ユーザインタフェース2144を立ち上げるメッセージプロトコル共有任意選択2142−aを(ユーザ入力2143を介して)選択する。
この例では、会話ユーザインタフェース2144(図21H)が最初に表示される場合、デバイス100のユーザが画像2126の宛先をまだ指定していないことから、宛先フィールド2146は空欄である(例えば、デバイス100は、宛先フィールド2146が空欄のメッセージを立ち上げ、画像2126は、メッセージの本文2148中内へ自動的に挿入される)。よって、この例では、デバイス100のユーザが、図21Hの会話ユーザインタフェース2144における宛先として「ステファニー・レヴィン」と手動で入力したと仮定されている。ユーザはまた、短いメッセージ2150「この列車を見て」をタイプもしている。
図21Hに更に示されているように、ユーザは、画像2126及びメッセージの残りの部分の送信を要求する送信ボタン2154を(ユーザ入力2152を介して)選択する。
図21Iに示すように、ユーザ入力2152に応じて、ステファニー・レヴィンのデバイス(第2の電子デバイス)が、グループとして画像シーケンスと双方向作用するように構成されているため、デバイス100は、画像シーケンスのうちの少なくとも一部分を(図21Cを参照して説明した)第2の電子デバイスに送信するための第1の1組の任意選択2118を表示する。
対照的に、図21Jは、画像シーケンスの少なくとも一部分を第2の電子デバイスに送信するための第2の1組の任意選択2122を示す。この例では、第2の電子デバイス(例えば、ロバート・ユウのデバイス)がグループとして画像シーケンスと双方向作用するように構成されていないことから、第2の1組の任意選択2122が表示される。第2の1組の任意選択2122に到達するプロセスは、図21E〜図21Hを参照して説明したような、第1の1組の任意選択2118に到達するプロセスと類似する。つまり、一部の実施形態では、デバイス100のユーザが、宛先2146として、図21Hのステファニー・レヴィンではなく、ロバート・ユウと入力し、送信と押した場合に、第2の1組の任意選択2122が表示される。
図22A〜図22Dは、一部の実施形態に係る、シーン認識を使用して写真(例えば、拡張写真又は静止写真)を取得するための例示的なユーザインタフェースを示す図である。これらの図におけるユーザインタフェースは、図9A〜図9G、図10A〜図10M、図11A〜図11I、図12A〜図12B、図24A〜図24E、図25A〜図25C、図26A〜図26D及び図27A〜図27Eにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。以下の例は、(タッチ感知面とディスプレイとが組み合わされている)タッチスクリーンディスプレイ上の入力に関連して説明されるが、一部の実施形態において、デバイス100は、図4Bに示すように、ディスプレイ450とは別個のタッチ感知面451上で入力を検出する。
一部のシーンは、他のシーンよりも、画像シーケンス(例えば、拡張写真)としてキャプチャされることにつながる。例えば、人々は、しばしば、同じポータブル多機能デバイスを使用して、重要な瞬間(例えば、ユーザの子供たちがベンチで笑っている写真)をキャプチャし、証拠書類目的の領収書の写真など、より日常的な画像をキャプチャする。一部の実施形態によれば、図22A〜図22Dは、画像シーケンス(例えば、笑っている子供のケース)をキャプチャするか静止画像(領収書のケース)をキャプチャするかを、シーン認識を介して自動的に判定する、デバイスのためのユーザインタフェースを示す。例えば、シーンが、アクションキャプチャ基準(例えば、シーンにおける行動に関する基準)を満たす場合、デバイスは、シャッターボタンのアクティブ化に応じて、シャッターボタンのアクティブ化の前に取得された画像及びシャッターボタンのアクティブ化の後に取得された画像を含む、画像シーケンスを保持する。反対に、シーンが、アクションキャプチャ基準を満たしていない場合、デバイスは、単一の画像を保持する(例えば、従来のカメラにおいてシャッターボタンのアクティブ化に応じて取得される単一の画像に類似する)。
図22Aでは、デバイス100は、メディア取得モード(例えば、写真取得モード又は自動静止/拡張写真取得モード)にある。デバイス100がメディア取得モードにある間に、デバイス100は、カメラ(例えば、カメラは、デバイス100に内蔵されている)が検出したシーンのライブプレビュー2210を含む画像キャプチャユーザインタフェース2202を表示する。画像キャプチャユーザインタフェース2202はまた、カメラロールをナビゲートするためのアフォーダンス2204(例えば、アフォーダンス2204は、カメラが取得した最後の写真/動画の縮小表現を表示する)と、仮想シャッターボタン2206と、シーンのライブプレビューにフィルタ(例えば、セピアフィルタ)をかけるためのアフォーダンス2208と、を含む。
デバイス100がメディア取得モードにある間に、デバイス100は、シーンに対してシーン認識を行う。例えば、一部の実施形態では、シーン認識は、テキストの検出、移動の検出、人々の顔の検出、及び/又はデバイス100の移動の検出(例えば、ユーザが、対象を追跡しようとする場合)を含む。図22Aでは、デバイス100は、シーン認識を使用して、シーンの大半がテキストであることを認識する(例えば、シーンが、領収書のシーンである)。一部の実施形態では、デバイス100は、シーンが閾値量を上回るテキストを含むことを認識することによって、シーンの大半がテキストであることを認識する。一部の実施形態では、デバイス100がシーンの大半がテキストであること認識した場合、アクションキャプチャ基準は満たされない。例えば、テーブルの上に置かれた領収書の前後の瞬間をキャプチャすることをユーザが望む可能性が低いことから、シャッターボタン2206のアクティブ化に応じて、デバイス100は、(図22Bの画像閲覧モードで示す)単一の画像2214を保持する。
対照的に、図22Cは、メディア取得モードのライブプレビュー2210に示された、プラットフォームに近づく列車のシーンを示す。特に、図22Cは、5つの異なる時間(時系列で、時間2210−1、時間2210−2、時間2210−3、時間2210−4及び時間2210−5)におけるシーンのライブプレビュー2210を示す。
デバイス100は、ライブプレビュー2210がディスプレイ上に表示されている間に、シーン検出を行う。この例では、デバイスが閾値量の移動を検出した場合に、アクションキャプチャ基準が満たされる。そのため、ライブプレビュー2210において列車が移動することから、時間2210−3におけるシャッターボタン2206のアクティブ化に応じて、デバイス100は、図22Dに示すように、画像シーケンス2218(例えば、拡張写真)を保持する。
図22Dに示すように、画像シーケンス2218は、シャッターボタン2206のアクティブ化の前に取得された複数の画像(例えば、画像2218−1及び2218−2)と、一部の実施形態において、シャッターボタン2206のアクティブ化の時間的近傍で取得された代表画像2218−3(例えば、従来のカメラにおけるシャッターのアクティブ化に応じて取得された単一の画像に類似する画像2218−3)と、代表画像2218−3を取得した後にカメラが取得した複数の画像(例えば、画像2218−4及び2218−5)と、を含む。つまり、移動する列車が閾値量の移動を超えるために、デバイス100は、拡張写真をキャプチャしたのである。次いで、例えば、図6A〜図6FF、図7A〜図7CC及び/又は図8A〜図8Lを参照して説明した実施形態に従って、拡張写真を再生できる。
図23A〜図23Eは、一部の実施形態に係る、画像シーケンス(例えば、拡張写真)をトリミングするための例示的なユーザインタフェースを示す図である。これらの図におけるユーザインタフェースは、図9A〜図9G、図10A〜図10M、図11A〜図11I、図12A〜図12B、図24A〜図24E、図25A〜図25C、図26A〜図26D及び図27A〜図27Eにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。以下の例は、(タッチ感知面とディスプレイとが組み合わされている)タッチスクリーンディスプレイ上の入力に関連して説明されるが、一部の実施形態において、デバイス100は、図4Bに示すように、ディスプレイ450とは別個のタッチ感知面451上で入力を検出する。
図23Aは、デバイス100が写真編集ユーザインタフェースにある間に、ディスプレイ上に代表画像2302を表示するデバイス100を示す。代表画像2302は、画像シーケンスを代表する(例えば、拡張写真を代表する)。一部の実施形態では、デバイス100は、必ずしも代表画像ではない、画像シーケンスから現在選択されている画像を表示する。写真編集ユーザインタフェースは、代表画像2302を編集するためのアフォーダンス2004(例えば、クロップアフォーダンス2004−1、フィルタアフォーダンス2004−2、明るさアフォーダンス2004−3)を含む。写真編集ユーザインタフェースはまた、選択可能なアイコン2304を含む。一部の実施形態では、写真編集ユーザインタフェースにおける表示画像が、画像シーケンスからの代表画像である場合、選択可能なアイコン2304は、アニメーション表示される、カラー表示される、及び/又は満杯にされる。一部の実施形態では、写真編集ユーザインタフェースにおける表示画像が静止画像である場合、選択可能なアイコン2304は、白黒で表示され、アニメーション表示及び/又は満杯にされない。よって、一部の実施形態では、選択可能なアイコン2304は、ユーザが拡張写真を編集しているかどうかをユーザに示す。一部の実施形態では、選択可能なアイコン2304は、画像シーケンスからの代表画像が写真編集ユーザインタフェースに表示されている場合にのみ選択可能である。
写真編集ユーザインタフェースはまた、ユーザの修正を写真に適用する「完了」アフォーダンス2301を含む。
図23Aでは、デバイス100は、選択可能なアイコン2304を選択するユーザ入力2306を受ける。
図23Bでは、ユーザ入力2306に応じて、デバイス100は、アフォーダンスバー2308を表示する。アフォーダンスバー2308は、画像シーケンスのアニメーション表示された再生をオンにするためのアフォーダンス2310−1と、画像シーケンスを保持しながら、画像シーケンスのアニメーション表示された再生をオフにするためのアフォーダンス2310−2と、画像シーケンスをトリミングするためのアフォーダンス2310−3と、代表画像2302に加えて画像シーケンスにおける他の画像を削除するためのアフォーダンス2310−4と、を含む。一部の実施形態では、アニメーション表示された再生が現在オンにされているかオフにされているかに応じて、任意の所与の時間においてアフォーダンス2310−1又はアフォーダンス2310−2のうちの1つのみが選択可能である(例えば、再生が現在オンである場合、「オン」アフォーダンス2310−1が「グレーアウト」される)。写真編集ユーザインタフェースはまた、図20A〜図20Lを参照して説明したように、第1の編集モード(例えば、すべてに適用編集モード)と第2の編集モード(例えば、単一画像編集モード)との間を切り替えるためのアフォーダンス2006(例えば、トグルスイッチ)を含む。
図23Bでは、デバイス100は、画像シーケンスをトリミングするためのアフォーダンス2310−3を選択するユーザ入力2312を受ける。
図23Cでは、ユーザ入力2312に応じて、デバイス100は、画像シーケンスを画像シーケンスのサブセットへ(例えば、画像シーケンスにおける画像のすべて未満のサブセットへ)トリミングするためのユーザインタフェース2314を表示する。ユーザインタフェース2314は、画像シーケンスにおける複数の画像の表現2318を含むエリア2316(例えば、ストリップ)を含む(視覚的に明確にするために、図面では、ある画像の1つの表現2318にのみ符号をつけてある)。一部の実施形態では、画像の表現2318は、画像シーケンスにおける画像のサムネイルである。一部の実施形態では、画像の表現は時系列で配置され、その結果、エリア2316の左にある表現2318は、エリア2316の右にある表現2318よりも早くに取得された画像を表現する。
ユーザインタフェース2314は、エリア2316と同時に表示される、第2のエリア2322を含む。代表画像又は現在選択されている画像は、第2のエリア2322に表示される。
エリア2316は、画像シーケンスのサブセットにおける開始画像を定める開始ハンドル2320−aを含む。エリア2316はまた、画像シーケンスのサブセットにおける終了画像を定める終了ハンドル2320−bを含む。開始ハンドル2320−a及び終了ハンドル2320−bは、デバイスによって自動的に(例えば、シーン検出を使用して)選択されたエリア2316における位置に位置する。例えば、デバイス100は、シーン検出を使用して、(例えば、顔がカメラに向いた時を判定すること、又は画像が最も不鮮明でない時を判定することによって)最良の動作が生じた期間を判定する。デバイス100は、開始ハンドル2320−aを、最良の動作が生じた期間の開始を表現するエリア2316における位置に設定し、終了ハンドル2320−bを、最良の動作が生じた期間の終了を表現するエリア2316における位置に設定する。
図23Cはまた、開始ハンドル2320−aと終了ハンドル2320−bとの間の画像の表現2318が、エリア2316における他の表現2318から視覚的に(例えば、他の表現を若干グレーアウトすることによって)区別されることを示す。
ユーザインタフェース2314はまた、リセットアフォーダンス2324を含む。図23Cでは、デバイス100は、リセットアフォーダンス2324を選択するユーザ入力2326を受ける。
図23Dでは、リセットアフォーダンス2324を選択するユーザ入力2326に応じて、デバイス100は、開始ハンドル2320−aを、トリミングされていない画像シーケンスにおける最初の画像に対応する位置に移動し、終了ハンドル2320−bを、トリミングされていない画像シーケンスにおける最後の画像に移動する。つまり、リセットアフォーダンス2324は、ユーザがトリミングユーザインタフェース2314に入る前の画像シーケンスに対応するように、トリミングハンドルをリセットする。
図23Dに示すように、一部の実施形態では、ユーザインタフェース2314は、元の画像シーケンスに含まれない、元の(例えば、トリミングされていない)画像シーケンスにおける最初の画像の前に取得された、画像の表現2328及び/又は元の画像シーケンス含まれない、元の(例えば、トリミングされていない)画像シーケンスにおける最後の画像の後に取得された、画像の表現2330を表示する。
図23Dにまた示すように、一部の実施形態では、ユーザがリセットアフォーダンス2324を選択した場合、ユーザインタフェース2314は、自動アフォーダンス2332を(例えば、リセットアフォーダンス2324の場所に)表示し、自動アフォーダンス2332により、ユーザは、シーン検出に基づく開始ハンドル2320−a及び終了ハンドル2320−bのための自動的に選択された位置へ切り替えて戻すことができる。
図23D〜図23Eにまた示すように、ユーザは、開始ハンドル2320−a及び終了ハンドル2320−bの位置を手動で調整できる。図23Dでは、デバイス100は、ユーザ入力2334(例えば、開始ハンドル2320−a上のドラッグジェスチャ)を受ける。図23Eは、エリア2316における開始ハンドル2320−aの位置がドラッグジェスチャ2334により移動したことを示す。
一部の実施形態では、トリミングユーザインタフェース2314にある間に、ユーザのトリミングを画像シーケンスに適用する、ユーザが「完了」アフォーダンス2301を選択した場合、デバイス100は、画像のサブセットに含まれない(例えば、表現2318が開始ハンドル2320−aと終了ハンドル2320−bとの間にない)画像を削除する(又は削除用にマーキングする)、又は画像のサブセットに含まれない画像の再生を無効化する。例えば、図6A〜図6FF、図7A〜図7CC及び/又は図8A〜図8Lを参照して説明した実施形態に従って、トリミングされた画像シーケンスが再生される場合、画像のサブセットに含まれない画像は、再生されない。一部の実施形態では、デバイス100が画像のサブセットに含まれない画像の再生を無効化した場合、デバイス100は、画像のサブセットに含まれない画像を保持して、ユーザが全画像シーケンス又は全画像シーケンスの任意の部分を後で(例えば、トリミングユーザインタフェース2314において)回復できるようにする。
図24A〜図24Eは、一部の実施形態に係る、画像シーケンスにおける画像を修正する方法2400の流れ図である。方法2400は、ディスプレイ及びタッチ感知面を備えた電子デバイス(例えば、図3のデバイス300又は図1Aのポータブル多機能デバイス100)にて実行される。一部の実施形態では、デバイスが、タッチ感知面との接触の強度を検出するための1つ以上のセンサを含む。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にある、又はディスプレイに一体化されている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法2400の一部の動作が任意選択的に、組み合わされ、かつ/又は一部の動作の順序が任意選択的に変えられる。
方法2400は、拡張写真を修正するための直感的な方法を提供する。特に、ユーザが拡張写真のための代表画像を修正する(例えば、クロップ、白黒化する、バランスを変える及び/又はコントラストを変える)場合、一部の実施形態では、方法2400によって、ユーザが、代表画像だけ又は拡張写真における画像のすべてに修正を適用すべきかどうかを(例えば、トグルスイッチによって)指定できる。修正が代表画像にのみ適用される場合、方法2400は、様々な実施形態に係る、再生レシピを提供する。例えば、様々な実施形態では、修正された代表画像を有する画像シーケンスを含む拡張写真は、代表画像が修正、未修正又は省略された状態で再生される。修正が画像シーケンス全体に適用される場合、拡張写真は、修正された画像シーケンスを再生する。
デバイスは、(例えば、デバイスが画像提示モードにある間に)ディスプレイ上に代表画像を表示する(2402)。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。一部の実施形態では、画像シーケンスを撮ったカメラは、電子デバイスの一部である。一部の実施形態では、画像シーケンスは、電子デバイスの一部ではないカメラで撮られた(例えば、画像シーケンスは、別のデバイスのカメラで撮られた後、電子デバイスに転送された)。一部の実施形態では、画像シーケンスは、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて取得されている。一部の実施形態では、代表画像は、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、カメラが取得した代表画像に対応する。
ディスプレイ上に修正された代表画像を表示する間に、デバイスは、代表画像を修正する入力(例えば、クロップ、フィルタ、露出調整、色調整、白黒へ変換などの入力)を検出する(2404)。例えば、図20Bの入力2008は、代表画像2002−3を修正する入力である。
代表画像を修正する入力を検出したことに応じて、デバイスが第1の編集モードにある(例えば、図20Iのトグルスイッチ2006などのアフォーダンスが、それぞれの画像シーケンスにおけるすべての画像に対する編集を適用するように設定されている)という判定に従って、デバイスは、代表画像と、代表画像を取得した後にカメラが取得した1つ以上の画像と、代表画像を取得する前にカメラが取得した1つ以上の画像と、を修正し、デバイスが第1の編集モードとは異なる第2の編集モードにある(例えば、図20Bのトグルスイッチ2006などのアフォーダンスが、それぞれの画像シーケンスにおける代表画像だけに編集を適用するように設定されている)という判定に従って、代表画像を取得した後にカメラが取得した1つ以上の画像を修正せずに、かつ代表画像を取得する前にカメラが取得した1つ以上の画像を修正せずに、代表画像を修正する(2406)。
一部の実施形態では、デバイスは、写真編集ユーザインタフェースにおいて第1の編集モードと第2の編集モードとの間を切り替えるアフォーダンスを提供する(例えば、図20B及び図20Iのトグルスイッチ2006は、写真編集ユーザインタフェースの構成要素である)。一部の実施形態では、写真編集ユーザインタフェースは、図23A〜図23E及び方法2700を参照して説明したように、拡張写真の再生をオン/オフするアフォーダンス、拡張写真における追加的な画像を削除するアフォーダンス及び/又は1組の追加的な写真をトリミングする(例えば、静止画像の選択が拡張写真に含まれるように修正する)アフォーダンスを含む。
一部の実施形態では、代表画像を修正する入力を検出したことに応じて、デバイスは、代表画像だけに、又は代表画像並びに代表画像を取得した後にカメラが取得した1つ以上の画像及び代表画像を取得する前にカメラが取得した1つ以上の画像に、修正を適用する任意選択をユーザに提示する。
一部の状況では、追加的な画像を修正せずに代表画像を修正することにより、拡張写真の再生時に不連続を生じる。例えば、代表画像が追加的な画像に対してクロップ又は回転された場合、拡張写真を再生することにより、代表画像が表示された場合に「ジャンプ」が生じる。よって、一部の実施形態では、代表画像を取得した後にカメラが取得した1つ以上の画像を修正せずに、かつ代表画像を取得する前にカメラが取得した1つ以上の画像を修正せずに、特定の修正(例えば、クロップ及び/又は回転)を代表画像に施した場合、デバイスは、追加的な画像の再生を自動的に停止する、追加的な画像を削除する、又は修正された代表画像を新しいファイルに静止画像として保存させる。一部の実施形態では、デバイスは、修正によって、修正された代表画像が静止画像になることをユーザに警告し、修正を続ける又は修正をキャンセルする任意選択をユーザに提供する(例えば、図20Lの警告2018)。
一部の実施形態では、代表画像を取得した後にカメラが取得した1つ以上の画像を修正せず、かつ代表画像を取得する前にカメラが取得した1つ以上の画像を修正せずに、代表画像を修正した後に、デバイスは、修正された代表画像をディスプレイ上に表示する(2408)。ディスプレイ上に修正された代表画像を表示する間に、デバイスは、第2の入力の第1の部分を検出する。第2の入力の第1の部分を検出したことに応じて、デバイスは、修正された代表画像の表示を、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部の順番での表示と置き換える。よって、一部の実施形態では、第2の入力の第1の部分を検出したことに応じて、代表画像を取得した後にカメラが取得した1つ以上の(修正されていない)画像が、順番に表示される(例えば、図20Eに示すように)。一部の実施形態では、デバイスは、修正された代表画像と、代表画像を取得した後にカメラが取得した1つ以上の(修正されていない)画像との間でクロスフェードアニメーションを表示する。
第2の入力の第1の部分を検出した後に、デバイスは、第2の入力の第2の部分を検出する(例えば、指ジェスチャにおける接触及び/又は強度を検出し続ける)。第2の入力の第2の部分を検出したことに応じて、デバイスは、代表画像を取得する前にカメラが取得した1つ以上の画像のうちの少なくとも一部と、修正されていない代表画像と、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部と、を順番に表示する(例えば、図20Fに示すように)。
よって、一部の実施形態では、第2の入力の第2の部分を検出したことに応じて、シーケンスにおける最初の画像から最後の画像まで(修正されていない)画像シーケンス全体が再生される。例えば、代表画像は、シーケンスにおける他の画像をカラー画像としたままで、代表画像を白黒画像に変更することによって修正される。白黒代表画像が表示されている間に、入力(例えば、長押しジェスチャ又は深い押圧ジェスチャ)の第1の部分が検出される。これに応じて、白黒代表画像の表示は、代表画像を取得した後にカメラが取得した、画像シーケンスにおける1つ以上の(修正されていない)カラー画像を順番に表示することによって置き換えられる。第2の入力の第2の部分を検出したことに応じて、すべての画像をカラーで表示した状態で、シーケンスにおける最初の画像から最後の画像まで画像シーケンス全体が再生される。
一部の実施形態では、代表画像を取得した後にカメラが取得した1つ以上の画像を修正せず、かつ代表画像を取得する前にカメラが取得した1つ以上の画像を修正せずに、代表画像を修正した後に、デバイスは、修正された代表画像をディスプレイ上に表示する(2410)。ディスプレイ上に修正された代表画像を表示する間に、デバイスは、第2の入力を検出する。第2の入力を検出したことに応じて、デバイスは、代表画像を取得する前にカメラが取得した1つ以上の画像のうちの少なくとも一部と、修正されていない代表画像と、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部と、を順番に表示する。
よって、一部の実施形態では、第2の入力を検出したことに応じて、デバイスは、代表画像の後にカメラが取得した画像を表示することによって再生を開始するのではなく、代表画像を取得する前に取得された画像から開始(例えば、画像シーケンスにおける最初の画像で開始)し、画像のいずれも修正せずに、拡張写真を再生する。
一部の実施形態では、代表画像を取得した後にカメラが取得した1つ以上の画像を修正せず、かつ代表画像を取得する前にカメラが取得した1つ以上の画像を修正せずに、代表画像を修正した後に、デバイスは、修正された代表画像をディスプレイ上に表示する(2412)。ディスプレイ上に修正された代表画像を表示する間に、デバイスは、第2の入力の第1の部分を検出する。第2の入力の第1の部分を検出したことに応じて、デバイスは、修正された代表画像の表示を、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部の順番での表示と置き換える。よって、一部の実施形態では、第2の入力の第1の部分を検出したことに応じて、代表画像を取得した後にカメラが取得した1つ以上の(修正されていない)画像が、順番に表示される。一部の実施形態では、デバイスは、修正された代表画像と、代表画像を取得した後にカメラが取得した1つ以上の(修正されていない)画像との間でクロスフェードアニメーションを表示する(例えば、図20Cに示すように)。
第2の入力の第1の部分を検出した後に、デバイスは、第2の入力の第2の部分を検出する(例えば、指ジェスチャにおける接触及び/又は強度を検出し続ける)。第2の入力の第2の部分を検出したことに応じて、デバイスは、代表画像を取得する前にカメラが取得した1つ以上の画像のうちの少なくとも一部と、修正された代表画像と、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部と、を順番に表示する(例えば、図20Dに示すように)。
よって、一部の実施形態では、第2の入力の第2の部分を検出したことに応じて、代表画像のみが修正された状態で、シーケンスにおける最初の画像から最後の画像まで画像シーケンス全体が再生される。例えば、代表画像は、シーケンスにおける他の画像をカラー画像としたままで、代表画像を白黒画像に変更することによって修正される。白黒代表画像が表示されている間に、入力(例えば、長押しジェスチャ又は深い押圧ジェスチャ)の第1の部分が検出される。これに応じて、白黒代表画像の表示は、代表画像を取得した後にカメラが取得した、画像シーケンスにおける1つ以上の(修正されていない)カラー画像を順番に表示することによって置き換えられる。第2の入力の第2の部分を検出したことに応じて、白黒で表示される代表画像を除いてすべての画像をカラーで表示した状態で、シーケンスにおける最初の画像から最後の画像まで画像シーケンス全体が再生される。
一部の実施形態では、代表画像を取得した後にカメラが取得した1つ以上の画像を修正せず、かつ代表画像を取得する前にカメラが取得した1つ以上の画像を修正せずに、代表画像を修正した後に、デバイスは、修正された代表画像をディスプレイ上に表示する(2414)。ディスプレイ上に修正された代表画像を表示する間に、デバイスは、第2の入力を検出する。第2の入力を検出したことに応じて、デバイスは、代表画像を取得する前にカメラが取得した1つ以上の画像のうちの少なくとも一部と、修正された代表画像と、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部と、を順番に表示する。
よって、一部の実施形態では、第2の入力を検出したことに応じて、デバイスは、代表画像の後にカメラが取得した画像を表示することによって再生を開始するのではなく、代表画像を取得する前に取得された画像から開始(例えば、画像シーケンスにおける最初の画像で開始)し、代表画像のみを修正した状態で、拡張写真を再生する。
一部の実施形態では、代表画像を取得した後にカメラが取得した1つ以上の画像を修正せず、かつ代表画像を取得する前にカメラが取得した1つ以上の画像を修正せずに、代表画像を修正した後に、デバイスは、修正された代表画像をディスプレイ上に表示する(2416)。ディスプレイ上に修正された代表画像を表示する間に、デバイスは、第2の入力の第1の部分を検出する。第2の入力の第1の部分を検出したことに応じて、デバイスは、修正された代表画像の表示を、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部の順番での表示と置き換える。よって、一部の実施形態では、第2の入力の第1の部分を検出したことに応じて、代表画像を取得した後にカメラが取得した1つ以上の(修正されていない)画像が、順番に表示される。一部の実施形態では、デバイスは、修正された代表画像と、代表画像を取得した後にカメラが取得した1つ以上の(修正されていない)画像との間でクロスフェードアニメーションを表示する(例えば、図20Gに示すように)。
第2の入力の第1の部分を検出した後に、デバイスは、第2の入力の第2の部分を検出する(例えば、指ジェスチャにおける接触及び/又は強度を検出し続ける)。第2の入力の第2の部分を検出したことに応じて、デバイスは、代表画像を取得する前にカメラが取得した1つ以上の画像のうちの少なくとも一部と、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部と、を順番に表示する(例えば、図20Hに示すように)。
よって、一部の実施形態では、第2の入力の第2の部分を検出したことに応じて、シーケンスにおける最初の画像から最後の画像まで画像シーケンス全体が再生され、ただし、代表画像は表示されない(例えば、修正された代表画像は拡張写真の最初の全再生から省略される)。一部の実施形態では、デバイスは、入力が維持される限り(例えば、長押しジェスチャ及び/又は既定の閾値を上回る強度の深い押圧)、画像シーケンス間をループし続ける。
一部の実施形態では、代表画像を取得した後にカメラが取得した1つ以上の画像を修正せず、かつ代表画像を取得する前にカメラが取得した1つ以上の画像を修正せずに、代表画像を修正した後に、デバイスは、修正された代表画像をディスプレイ上に表示する(2418)。ディスプレイ上に修正された代表画像を表示する間に、デバイスは、第2の入力を検出する。第2の入力を検出したことに応じて、デバイスは、代表画像を取得する前にカメラが取得した1つ以上の画像のうちの少なくとも一部と、代表画像を取得した後にカメラが取得した1つ以上の画像のうちの少なくとも一部と、を順番に表示する。
よって、一部の実施形態では、第2の入力を検出したことに応じて、デバイスは、代表画像の後にカメラが取得した画像を表示することによって再生を開始するのではなく、代表画像を取得する前に取得された画像から開始(例えば、画像シーケンスにおける最初の画像で開始)し、代表画像を省略し、かつ残りの画像を修正しない状態で、拡張写真を再生する。
一部の実施形態では、代表画像、代表画像を取得した後にカメラが取得した1つ以上の画像、及び代表画像を取得する前にカメラが取得した1つ以上の画像を修正した後に、デバイスは、修正された代表画像をディスプレイ上に表示する(2420)。ディスプレイ上に修正された代表画像を表示する間に、デバイスは、第2の入力の第1の部分を検出する。第2の入力の第1の部分を検出したことに応じて、デバイスは、修正された代表画像の表示を、代表画像を取得した後にカメラが取得した修正された1つ以上の画像のうちの少なくとも一部の順番での表示と置き換える。よって、一部の実施形態では、第2の入力の第1の部分を検出したことに応じて、代表画像を取得した後にカメラが取得した修正された1つ以上の画像が、順番に表示される(例えば、図20Jに示すように)。
第2の入力の第1の部分を検出した後に、デバイスは、第2の入力の第2の部分を検出する(例えば、指ジェスチャにおける接触及び/又は強度を検出し続ける)。第2の入力の第2の部分を検出したことに応じて、デバイスは、代表画像を取得する前にカメラが取得した修正された1つ以上の画像のうちの少なくとも一部と、修正された代表画像と、代表画像を取得した後にカメラが取得した修正された1つ以上の画像のうちの少なくとも一部と、を順番に表示する(例えば、図20Kに示すように)。
よって、一部の実施形態では、第2の入力の第2の部分を検出したことに応じて、シーケンスにおける最初の画像から最後の画像まで修正された画像シーケンス全体が再生される。例えば、シーケンスにおける画像は、シーケンスにおける画像をカラーから白黒画像へ変更することによって修正される。白黒代表画像が表示されている間に、入力(例えば、長押しジェスチャ又は深い押圧ジェスチャ)の第1の部分が検出される。これに応じて、白黒代表画像の表示は、代表画像を取得した後にカメラが取得した、画像シーケンスにおける1つ以上の白黒カラー画像を順番に表示することによって置き換えられる。第2の入力の第2の部分を検出したことに応じて、すべての画像を白黒で表示した状態で、シーケンスにおける最初の画像から最後の画像まで画像シーケンス全体が再生される。
一部の実施形態では、代表画像、代表画像を取得した後にカメラが取得した1つ以上の画像、及び代表画像を取得する前にカメラが取得した1つ以上の画像を修正した後に、デバイスは、修正された代表画像をディスプレイ上に表示する(2422)。ディスプレイ上に修正された代表画像を表示する間に、デバイスは、第2の入力を検出する。第2の入力を検出したことに応じて、デバイスは、代表画像を取得する前にカメラが取得した修正された1つ以上の画像のうちの少なくとも一部と、修正された代表画像と、代表画像を取得した後にカメラが取得した修正された1つ以上の画像のうちの少なくとも一部と、を順番に表示する。
よって、一部の実施形態では、第2の入力を検出したことに応じて、デバイスは、代表画像の後にカメラが取得した画像を表示することによって再生を開始するのではなく、代表画像を取得する前に取得された画像から開始(例えば、画像シーケンスにおける最初の画像で開始)し、画像のすべてを修正した状態で、拡張写真を再生する。
一部の実施形態では、デバイスは、代表画像を取得する前にカメラが取得した1つ以上の画像と、代表画像を取得した後にカメラが取得した1つ以上の画像と、を削除する要求に対応する第2の入力を検出する(2424)。第2の入力を検出したことに応じて、デバイスは、代表画像を取得する前にカメラが取得した1つ以上の画像及び代表画像を取得した後にカメラが取得した1つ以上の画像を削除する(又は削除のためにマーキングする)(例えば、第2の入力以外の追加的なユーザ入力なしに、代表画像以外の、拡張写真における追加的な画像のすべてを削除する)。
図24A〜図24Eにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。一部の実装では、本明細書で説明される1つ以上の動作が省略される場合もある。例えば、一部の実施形態では、動作2408及び2410が省略される。加えて、本明細書に記載の他の方法(例えば、方法900、1000、10000、10050、1100、11000、1200、2500、2600及び2700)に関して本明細書で記載されている他のプロセスの詳細は、また、図24A〜図24Eに関連して上述されている方法2400に、類似の方法で適用可能であることも留意されたい。例えば、方法2400に関連して上述された、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスは、本明細書で説明される他の方法(例えば、方法900、1000、10000、10050、1100、11000、1200、2500、2600及び2700)に関連して本明細書で説明される、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスの特性のうちの1つ以上を、任意選択的に有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
図25A〜図25Cは、一部の実施形態に係る、画像シーケンスからの画像を第2の電子デバイスに送信する方法2500の流れ図である。方法2500は、ディスプレイと、任意選択のタッチ感知面とを備える第1の電子デバイス(例えば、図3のデバイス300、又は、図1Aのポータブル多機能デバイス100)において実行される。一部の実施形態では、デバイスが、タッチ感知面との接触の強度を検出するための1つ以上のセンサを含む。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にある、又はディスプレイに一体化されている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法2500の一部の動作が任意選択的に、組み合わされ、かつ/又は一部の動作の順序が任意選択的に変えられる。
一部の実施形態によれば、方法2500によって、他のユーザのデバイスが拡張写真と双方向作用する(例えば、互換性がある)ように構成される場合、ユーザが拡張写真を他のユーザのデバイスと共有できる。そのために、方法2500は、遠隔の電子デバイスが拡張写真と双方向作用するように構成されているかを判定することを含み、遠隔の電子デバイスが拡張写真と双方向作用するように構成されている場合、方法2500は、(例えば、拡張写真を送信する任意選択を含む)第1の1組の共有任意選択を表示することによって、拡張写真を送信する要求に応答することを含む。遠隔の電子デバイスが拡張写真と双方向作用するように構成されていない場合、方法2500は、(例えば、代表画像だけを送信すること又は拡張写真を動画若しくはGIFフォーマットに変換することを含む)第2の1組の共有任意選択を表示することによって、拡張写真を送信する要求に応答することを含む。
第1の電子デバイスは、ディスプレイ上で、他の電子デバイスと通信するように構成されたアプリケーションのユーザインタフェースに代表画像を表示する(2502)。例えば、代表画像は、メッセージングアプリケーション(例えば、Apple Inc.(Cupertino,California)のiMessage(登録商標))、ソーシャルネットワーキングアプリケーション(例えば、Twitter(登録商標)又はFacebook(登録商標))、アドホックネットワークサービス(例えば、Apple Inc.(Cupertino,California)のAirDrop(登録商標))、又は電子メールアプリケーション(例えば、Apple Inc.(Cupertino,California)のMail)のための入力エリアに表示される。
代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。一部の実施形態では、画像シーケンスを撮ったカメラは、第1の電子デバイスの一部である。一部の実施形態では、画像シーケンスは、第1の電子デバイスの一部ではないカメラで撮られた(例えば、画像シーケンスは、別のデバイスのカメラで撮られた後、第1の電子デバイスに転送された)。一部の実施形態では、画像シーケンスは、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて取得されている。一部の実施形態では、代表画像は、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、カメラが取得した代表画像に対応する。
一部の実施形態では、他の電子デバイスと通信するように構成されたアプリケーションが、共有ユーザインタフェースにおけるアプリケーションに対応するアプリケーションアイコンの選択を検出したことに応じて表示される(2504)(例えば、Apple Inc.(Cupertino,California)のiOSの共有シートなどの共有メニュー)。一部の実施形態では、代表画像は、共有ユーザインタフェースに表示され、共有ユーザインタフェースは、グループとして画像シーケンスとの双方向作用(図6A〜図6FFを参照して説明したような双方向作用など)を表示するように構成される。一部の実施形態では、共有ユーザインタフェースは、代表画像が画像管理アプリケーション(例えば、Apple Inc.(Cupertino,California)のPhotos)に表示されている間に共有アイコンが選択されたことに応じて表示される。
代表画像をディスプレイ上に表示する間に、第1の電子デバイスは、アプリケーションを使用して、第1の電子デバイスから遠隔の第2の電子デバイスへと、代表画像を送信する要求又は送信するための代表画像を選択する要求に対応する入力を検出する(例えば、第1の電子デバイスのタッチ感知面上へのタップジェスチャ又はマウスクリックによる「送信」アイコン又は「写真を選択」アイコンのアクティブ化を検出すること)(2506)。
第2の電子デバイスに代表画像を送信する要求又は送信するための代表画像を選択する要求に対応する入力を検出したことに応じて、第2の電子デバイスが、グループとして画像シーケンスと双方向作用するように構成される(例えば、第2の電子デバイスが、図6A〜図6FFを参照して説明した双方向作用を行うように構成される)という判定に従って、第1の電子デバイスは、画像シーケンスのうちの少なくとも一部分を第2の電子デバイスに送信するための第1の1組の任意選択を表示し(例えば、図21C及び/又は図21Iに示すように)、第2の電子デバイスが、グループとして画像シーケンスと双方向作用するように構成されていないという判定に従って、第1の電子デバイスは、画像シーケンスのうちの少なくとも一部分を第2の電子デバイスに送信するための第2の1組の任意選択を表示し、第2の1組の任意選択が、第1の1組の任意選択とは異なる(例えば、図21D及び/又は図21Jに示すように)(2508)。
一部の実施形態では、第2の電子デバイスが、グループとして画像シーケンスと双方向作用するように構成されていないという判定は、第2の電子デバイスがグループとして画像シーケンスと双方向作用するように構成されると判定できない場合を含む。一部の実施形態では、第2の電子デバイスが、グループとして画像シーケンスと双方向作用するように構成されていると判定できない場合、第2の電子デバイスがグループとして画像シーケンスと双方向作用するように構成されていないと結論づけられる。
一部の実施形態では、第2の電子デバイスが、グループとして画像シーケンスと双方向作用するように構成されているという判定は、オペレーティングシステムが第2の電子デバイスによって使用されていると判定することに少なくとも部分的に基づく。一部の実施形態では、第1の1組の任意選択を提示することの代替として、第2の電子デバイスが、グループとして画像シーケンスと双方向作用するように構成されているという判定に従って、第1の電子デバイスは、画像シーケンスを自動的に送信する(例えば、ユーザが「送信」ボタンを押圧した後に更にユーザが介在することなく、グループとして双方向作用するために、画像シーケンス全体を送信する)。一部の実施形態では、第2の電子デバイスが、グループとして画像シーケンスと双方向作用するように構成されていないという判定に従って、第1の電子デバイスは、代表画像を取得した後にカメラが取得した1つ以上の画像を送信せず、かつ代表画像を取得する前にカメラが取得した1つ以上の画像を送信せずに、代表画像を自動的に送信する。
一部の実施形態では、画像シーケンスのうちの少なくとも一部分を第2の電子デバイスに送信するための第1の1組の任意選択が、画像シーケンス全体を送信する任意選択を含む(例えば、第1の1組の任意選択は、拡張写真として画像シーケンスを送信するための任意選択を含む)(2510)。
一部の実施形態では、画像シーケンスのうちの少なくとも一部分を第2の電子デバイスに送信するための第2の1組の任意選択が、画像シーケンスのうちの少なくとも一部分を動画フォーマット(例えば、MPEGフォーマット)に変換するための任意選択を含む(2512)。一部の実施形態では、画像シーケンスのうちの少なくとも一部分を第2の電子デバイスに送信するための第2の1組の任意選択が、画像シーケンスのうちの少なくとも一部分を、第2の電子デバイスが双方向作用するように構成されているフォーマットに変換するための任意選択を含む。一部の実施形態では、画像シーケンスのうちの少なくとも一部分を第2の電子デバイスに送信するための第2の1組の任意選択が、画像シーケンスのうちの少なくとも一部分をアニメーション表示画像フォーマット(例えば、GIFフォーマット)に変換するための任意選択を含む。
一部の実施形態では、第2の電子デバイスが、グループとして画像シーケンスと双方向作用するように構成されていない場合、画像シーケンスにおける他の画像を送信せずに代表画像を送信するのではなく、第1の電子デバイスは、画像シーケンス(及び一部の実施形態では、画像シーケンスに対応する音声)をビデオクリップ及び/又はアニメーション表示されたGIFへ変換する任意選択をユーザに与えるメニュー(例えば、ポップアップメニュー)を表示する。ユーザが「動画に変換」及び/又は「動画として送信」任意選択を選択したことに応じて、画像シーケンスに対応する動画が第2の電子デバイスに送信される。一部の実施形態では、ユーザが「動画に変換」及び/又は「動画として送信」任意選択を選択したことに応じて、第1の電子デバイスは、画像シーケンスを動画に変換し、動画を第2の電子デバイスに送信する。ユーザが「GIFに変換」及び/又は「GIFとして送信」任意選択を選択したことに応じて、画像シーケンスに対応するアニメーション表示されたGIFが第2の電子デバイスに送信される。一部の実施形態では、ユーザが「GIFに変換」及び/又は「GIFとして送信」任意選択を選択したことに応じて、第1の電子デバイスは、画像シーケンスをアニメーション表示されたGIFに変換し、GIFを第2の電子デバイスに送信する。
一部の実施形態では、画像シーケンスのうちの少なくとも一部分を第2の電子デバイスに送信するための第1の1組の任意選択が、画像シーケンスのうちの少なくとも一部分を動画フォーマット(例えば、MPEGフォーマット)に変換するための任意選択を含む(2514)。一部の実施形態では、第2の電子デバイスがグループとして画像シーケンスと双方向作用するように構成されるかどうかとは独立に、画像シーケンス(及び、一部の実施形態では、画像シーケンスに対応する音声)をビデオクリップ及び/又はアニメーション表示されたGIFへ変換する任意選択をユーザに与える第1の電子デバイスは、メニュー(例えば、送信任意選択メニュー)を表示する。よって、そのような任意選択が選択された場合、第2の電子デバイスがグループとして画像シーケンスと双方向作用するように構成される場合も、(関連付けられた音声及び/又はメタデータを伴う又は伴わない)画像シーケンスではなく、動画又はアニメーション表示されたGIFが第2の電子デバイスに送信される。
一部の実施形態では、画像シーケンス(及び、一部の実施形態では、画像シーケンスに対応する音声)をビデオクリップ及び/又はアニメーション表示されたGIFへ変換する任意選択をユーザに与える第1の電子デバイスは、メニュー(例えば、エクスポートメニュー、「名前をつけて送信」メニュー又は「変換」メニュー)を表示する。そのような任意選択が選択された場合、(関連付けられた音声及び/又はメタデータを伴う又は伴わない)画像シーケンスは、選択された任意選択に従って、動画又はアニメーション表示されたGIFに変換される。
一部の実施形態では、第2の電子デバイスがグループとして画像シーケンスと双方向作用するように構成されているという判定に従って(例えば、第2の電子デバイスは、図6A〜図6FFに関連して説明される双方向作用を行うように構成される)、第1の電子デバイスは、画像シーケンスに対応する音声を送信する(2516)。例えば、第1の1組の任意選択が、画像シーケンス全体を送信する(例えば、拡張写真を送信する)任意選択を含み、第1の電子デバイスのユーザが、画像シーケンス全体を送信する任意選択を選択する場合、図6F〜図6Iを参照して説明したように、第1の電子デバイスは、音声を第2の電子デバイスに送信して、第2の電子デバイスのユーザが音声を有する拡張写真を再生できるようにする。
一部の実施形態では、第2の電子デバイスがグループとして画像シーケンスと双方向作用するように構成されているという判定に従って(例えば、第2の電子デバイスは、図6A〜図6FFに関連して説明される双方向作用を行うように構成される)、第1の電子デバイスは、第1の画像シーケンスに対応するメタデータを送信する(2518)。例えば、第1の1組の任意選択が、画像シーケンス全体を送信する(例えば、拡張写真を送信する)任意選択を含み、第1の電子デバイスのユーザが、画像シーケンス全体を送信する任意選択を選択する場合、図6J〜図6Mを参照して説明したように、第1の電子デバイスは、メタデータを第2の電子デバイスに送信して、第2の電子デバイスのユーザがメタデータを有する拡張写真を再生できるようにする。一部の実施形態では、時間、日付、(例えば、GPSを介する)位置、天気、画像シーケンスを取得した時に再生されていた音楽(例えば、Shazam、SoundHound又はMidomiなどの、第1のデバイスの音楽識別ソフトウェアで識別された音楽)及び/又はローカルイベント情報(第1の画像シーケンスを取得した時と場所で行われていたスポーツゲームなど)、イベント後情報(最終スコアなど)などの、画像シーケンスのためのメタデータは、画像シーケンスにリンク(又は他の方法で関連付け)される。
一部の実施形態では、画像シーケンスのうちの少なくとも一部分を第2の電子デバイスに送信するための第2の1組の任意選択が、代表画像を取得した後にカメラが取得した1つ以上の画像を送信せず、かつ代表画像を取得する前にカメラが取得した1つ以上の画像を送信せずに、代表画像を送信する(例えば、代表画像を静止画像として送信する)ための任意選択を含む(2520)。
一部の実施形態では、第1の電子デバイスは、第1の電子デバイスが、(例えば、グループとして)画像シーケンスの送信を許可する第1のモードにあるかどうかを判定する(2522)。第1の電子デバイスがグループとして画像シーケンスの送信を許可する第1のモードにはないという判定に従って、第1の電子デバイスが、画像シーケンスのうちの少なくとも一部分を第2の電子デバイスに送信するための第1の1組の任意選択を修正する。一部の実施形態では、代表画像だけを送信するのではなく、画像シーケンスを送信するには、第2の電子デバイスがグループとして画像シーケンスと双方向作用するように構成されるを判定することに加えて、第1の電子デバイスはまた、画像シーケンスから静止画像(例えば、代表画像)を送信することのみを許可するモードではなく、グループとして画像シーケンスを送信すること許可するモードにある必要がある。一部の実施形態では、ユーザは、図20Bに示すようなトグルスイッチ2006などのアフォーダンスを使用して、これらの2つのモードの間で選択できる。
一部の実施形態では、ディスプレイ上に代表画像(及び1組の任意選択のうちの1つ)を表示する間に、第1の電子デバイスは、第2の入力を検出する(2524)。第2の入力を検出したことに応じて、第1の電子デバイスは、代表画像の表示を、画像シーケンスにおける画像のうちの少なくとも一部の順番での表示と置き換える。一部の実施形態では、第1の電子デバイスは、共有任意選択を表示しながら、拡張写真を再生するように構成され、このことは、ユーザが写真をどのように(例えば、拡張写真、動画、GIF又は静止画像として)共有したいかユーザが決定するのを助け得る。
一部の実施形態では、第1の電子デバイスが、タッチ感知面と、タッチ感知面との接触の強度を検出するための1つ以上のセンサと、を備える(2526)。第2の入力が、第1の接触強度基準を満足する指の接触を含む。例えば、1組の任意選択が表示される場合、代表画像上での深い押圧によって拡張写真が再生される。
図25A〜図25Cにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。一部の実装では、本明細書で説明される1つ以上の動作が省略される場合もある。例えば、一部の実施形態では、動作2510及び2512が省略される。加えて、本明細書に記載の他の方法(例えば、方法900、1000、10000、10050、1100、11000、1200、2400、2600及び2700)に関して本明細書で記載されている他のプロセスの詳細は、また、図25A〜図25Cに関連して上述されている方法2500に、類似の方法で適用可能であることも留意されたい。例えば、方法2500に関連して上述された、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスは、本明細書で説明される他の方法(例えば、方法900、1000、10000、10050、1100、11000、1200、2400、2600及び2700)に関連して本明細書で説明される、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスの特性のうちの1つ以上を、任意選択的に有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
図26A〜図26Dは、一部の実施形態に係る、シーン認識を使用して写真(例えば、拡張写真又は静止写真)を取得する方法2600の流れ図である。方法2600は、ディスプレイと、カメラと、任意選択のタッチ感知面とを備える電子デバイス(例えば、図3のデバイス300、又は、図1Aのポータブル多機能デバイス100)において実行される。一部の実施形態では、デバイスが、タッチ感知面との接触の強度を検出するための1つ以上のセンサを含む。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にある、又はディスプレイに一体化されている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法2600の一部の動作が任意選択的に、組み合わされ、かつ/又は一部の動作の順序が任意選択的に変えられる。
一部の実施形態によれば、デバイスは、カメラから画像をキャプチャする間に、シーン認識を行う。ユーザがシャッターをアクティブ化したことに応じて、デバイスは、シーン認識に基づいて、画像シーケンス(例えば、拡張写真として)を保持するか、又は静止画像を保持するか、を判定する。例えば、シーンがたくさんの移動を含む場合、デバイスは、拡張写真を自動的に保持する。別の例として、シーンが、大量のテキストを含む(例えば、「シーン」が領収書又は本のページにすぎない)場合、デバイスは、静止画像を保持する。
そのために、カメラのための第1のメディア取得モード(例えば、自動静止/拡張写真モードと表示されたモード)にある間に、デバイスは、シーンのライブプレビューをディスプレイ上に表示する(2602)。
デバイスは、シーンに対してシーン認識を行う(2604)。一部の実施形態では、シーン認識を行うことは、シーンにおける顔の認識、シーンにおける移動の認識、シーンにおけるテキストの認識、シーンが屋内であるか屋外であるかの認識(例えば、閾値量の輝度の認識及び/又は太陽の認識)、及び/又はシーンの被写界深度の認識(例えば、シーンが風景のシーンであるかの判定)を含む。
シーンのライブプレビューを表示する間に、デバイスは、第1の時間におけるシャッターボタンの単一のアクティブ化を検出する(2606)。一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出することは、第1の時間における物理ボタンの押圧を検出すること、又はシャッター開放アイコン上へのタップジェスチャ又はライブプレビュー上へのタップジェスチャ(ライブプレビューが仮想シャッターボタンとして作用する)など、第1の時間におけるタッチ感知ディスプレイ上の仮想シャッターボタン上でジェスチャを検出することを含む。一部の実施形態では、検出されるアクティブ化は、シャッターボタンの単一のアクティブ化である(例えば、従来のデジタルカメラで、従来のデジタルカメラの静止画像モードにおいて、単一の画像をキャプチャするために使用される単一のアクティブ化に類似する)。一部の実施形態では、シャッターボタンの単一のアクティブ化は、アクティブ化がいかなる特定の時間も維持されることを必要としない(例えば、アクティブ化が維持される長さに関わらず、シャッターボタンの任意の検出可能なアクティブ化で十分である)。
第1の時間におけるシャッターボタンの単一のアクティブ化を検出したことに応じて、シーンが、アクションキャプチャ基準(例えば、シーンにおける行為に関する基準)を満たすという判定に従って、シーンに対して行われたシーン認識に少なくとも部分的に基づいて、デバイスは、第1の時間におけるシャッターボタンのアクティブ化の時間的近傍で、カメラが取得した複数の画像を保持し、複数の画像を第1の画像シーケンスへグループ化する(例えば、デバイスは、図22C〜図22Dに示すようにシーンの拡張写真を保持する)(2608)。
第1の画像シーケンスは、第1の時間におけるシャッターボタンのアクティブ化を検出する前にカメラが取得した複数の画像と、第1の画像シーケンスを代表し、かつ第1の画像シーケンスにおける他の画像のうちの1つ以上の後にカメラが取得した、代表画像と、代表画像を取得した後にカメラが取得した複数の画像と、を含む。
シーンが、アクションキャプチャ基準を満たしていないという判定に従って、デバイスは、第1の時間におけるシャッターボタンのアクティブ化の時間的近傍にある単一の画像を保持する(図22A〜図22Bに示すように、第1の時間におけるシャッターボタンのアクティブ化の時間的近傍でカメラが取得した複数の画像を第1の画像シーケンスへグループ化せずに)。
一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出する前に取得された画像が、既定数の画像(例えば、5、10、15、20、25又は30の画像)である。一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出する前に取得された画像が、第1の時間の前の既定の時間内にある画像(例えば、第1の時間の前0.5、1.0、1.5、2.0又は2.5秒内の画像)である。一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出する前に取得された複数の画像が、(第1の時間の前の)第2の時間と第1の時間との間の時間範囲からであり、第1の時間におけるシャッターボタンのアクティブ化を検出する前に取得された複数の画像が、第2の時間の時間的近傍である、シャッターボタンとの双方向作用とは独立である。例えば、第1の時間におけるシャッターボタンのアクティブ化を検出する前に取得された複数の画像は、第2の時間の時間的近傍であるシャッターボタンとの双方向作用を検出したことに応じて取得されない。例えば、第1の時間におけるシャッターボタンのアクティブ化を検出する前に取得された複数の画像は、第2の時間又はその付近におけるシャッターボタンの部分的な(又は完全な)アクティブ化を検出したことに応じて取得されない。
一部の実施形態では、デバイスは、第1のメディア取得モードに入ると画像の取得及び記憶を開始する。
一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出する前に取得された、第1の画像シーケンスにおける複数の画像が、既定のグループ化基準を満たす。一部の実施形態では、既定のグループ化基準が、代表画像の前の既定数の画像を選択することを含む。一部の実施形態では、既定のグループ化基準が、シャッターボタンのアクティブ化を検出した直前の既定時間範囲内にある画像を選択することを含む。一部の実施形態では、既定のグループ化基準が、代表画像を取得した時間の直前の既定時間範囲内にある画像を選択することを含む。一部の実施形態では、既定のグループ化基準は、シーン認識及び/又はデバイスの移動に基づいて画像を選択することを含む(例えば、デバイスは、例えば、ユーザがデバイスを持ち上げた時に撮られた画像を破棄するために、デバイスが過度に移動していた時に取得された画像を破棄する)。
一部の実施形態では、代表画像は、第1の時間においてカメラによって取得され、かつ従来のデジタルカメラの静止画像モードでそのシャッターボタンをアクティブ化した時にキャプチャされた単一の画像に類似する。一部の実施形態では、カメラが取得した代表画像は、第1の時間に取得された画像に対応する。一部の実施形態では、カメラが取得した代表画像は、シャッターラグ(シャッターボタンのアクティブ化の検出と、代表画像のキャプチャ/記憶と、の間の時間遅延)を考慮した時間における、第1の時間におけるシャッターボタンのアクティブ化を検出した直後に取得された画像に対応する。一部の実施形態では、カメラが取得した代表画像は、例えば、画像提示モードにおいて、画像シーケンスを代表するために使用される。
一部の実施形態では、第1の画像シーケンスは、代表画像を取得した後に取得された、5、10、15、20、25又は30の画像などの既定数の画像を含む。一部の実施形態では、代表画像を取得した後に取得された画像は、代表画像を取得した後の既定時間内(例えば、代表画像を取得した後の0.5、1.0、1.5、2.0又は2.5秒内)にある画像である。一部の実施形態では、第1の画像シーケンスは、第1の時間におけるシャッターボタンのアクティブ化の後に取得された、5、10、15、20、25又は30の画像などの既定数の画像を含む。一部の実施形態では、第1の時間におけるシャッターボタンのアクティブ化を検出した後に取得された画像は、第1の時間の後の既定の時間内にある画像(例えば、第1の時間の後0.5、1.0、1.5、2.0又は2.5秒内の画像)である。一部の実施形態では、代表画像を取得した後に取得された、第1の画像シーケンスにおける複数の画像は、既定のグループ化基準を満たす。一部の実施形態では、既定のグループ化基準が、代表画像の後の既定数の画像を選択することを含む。一部の実施形態では、既定のグループ化基準が、シャッターボタンのアクティブ化を検出した直後の既定時間範囲内にある画像を選択することを含む。一部の実施形態では、既定のグループ化基準が、代表画像を取得した時間の直後の既定時間範囲内にある画像を選択することを含む。一部の実施形態では、既定のグループ化基準は、シーン認識及び/又はデバイスの移動に基づいて画像を選択することを含む。
一部の実施形態では、アクションキャプチャ基準が、シーンにおいて1つ以上の顔を認識することを含む(2610)。一部の実施形態では、デバイスが、シーン内に少なくとも1つの顔を認識した場合、デバイスは、複数の画像を保持及びグループ化する。
一部の実施形態では、デバイスは、画像を取得するための、デフォルトの画像キャプチャパラメータを含む(2612)。デバイスは、縦方向の際にシーンが単一の顔を含み、単一の顔が占める量が、ディスプレイのうちの既定量を上回ると判定する(2614)。縦方向の際にシーンが単一の顔を含み、単一の顔が占める量が、ディスプレイのうちの既定量を上回ると判定したことに応じて、デバイスは、デフォルトの画像キャプチャパラメータとは異なる画像キャプチャパラメータ(例えば、表情のわずかな変化をキャプチャするためのより高いフレームレート、細部をより良くキャプチャするためのより高い解像度など)により、複数の画像を取得する(及び/又は保持する)(2616)。
一部の実施形態では、アクションキャプチャ基準は、シーンにおける移動を認識する(例えば、(例えば、ライブプレビューにおいて)既定の閾値の値を上回る動きを検出する)ことを含む(2618)。一部の実施形態では、デバイスが、シーン内に少なくとも既定の閾値の動き量を認識した場合、デバイスは、複数の画像を保持及びグループ化する。
一部の実施形態では、シーンに対してシーン認識を行うことが、シーンにおける動き量を判定することを含む(2620)。第1の時間におけるシャッターボタンのアクティブ化の時間的近傍でカメラが取得した複数の画像を保持することが、動き量が第1の量であるという判定に従って、複数の画像を第1のフレームレートで保持することと、動き量が第1の量よりも大きい第2の量であるという判定に従って、画像を第1のフレームレートよりも高い第2のフレームレートで保持することと、を含む。
一部の状況では、電子デバイス自体が移動している(例えば、パン及び/又は並行移動している)。一部の実施形態では、アクションキャプチャ基準が、既定の閾値の値を上回る電子デバイスの移動を検出することを含む(2622)。一部の実施形態では、デバイスの移動の特定の特性が、移動しているシーンをデバイスが狙っていることを示す(例えば、デバイスは、実質的に水平を保ちながらパンしている)。デバイスが狙いを定めているとデバイスが判定した場合、デバイスは、複数の画像を保持及びグループ化する。例えば、一部の状況では、デバイスは、対象(例えば、スポーツするアスリート、通過する車など)を追跡するためにパンする。一部の実施形態では、電子デバイスの移動を検出することは、加速度計168(図1A)を使用してデバイスの加速度を検出することを含む。
一部の実施形態では、保持された複数の画像における画像の数が、複数の画像を取得している間に検出されたデバイスの移動に依存する(2624)。例えば、デバイスは、デバイスが平行移動した時を認識する(例えば、マウンテンバイクの運転者又はスキーヤーのヘルメットに取り付けられる)。デバイスが、(例えば、振動及び/又は加速度の急激な変化によって示されるように)より速く平行移動する場合、デバイスは、より高いフレームレートで及び/又はより長い期間、複数の画像を保持及びグループ化し、その結果、より多数の画像が複数の画像に保持される。
一部の実施形態では、シーン認識を行うことは、動きのある風景(例えば、滝、風車、葉が風になびく樹木)を認識することを含む。デバイスが動きのある風景をキャプチャしているとデバイスが判定した場合、デバイスは、複数の画像を(例えば、拡張写真として)保持及びグループ化する。一部の実施形態では、風景の拡張写真は、風景シーンが連続して見えるようにループで再生される。
反対に、デバイスは、第1の時間におけるシャッターボタンの単一のアクティブ化を検出したことに応じて、シーンに顔が存在しない、シーンに著しい移動がない、及び/又は電子デバイス自体が移動していない(例えば、デバイスが固定されている)という判定に従って、(第1の時間におけるシャッターボタンのアクティブ化時間的近傍でカメラが取得した複数の画像を第1の画像シーケンスへグループ化せずに)単一の画像を取得する。一部の実施形態では、単一の画像は、高ダイナミックレンジ(HDR)静止画像などの複数の静止画像を融合した静止画像である。
一部の実施形態では、デバイスの移動の特定の特性は、デバイスが狙いを定めていない(例えば、ユーザのポケットから取り出されている、及び/又はシーンを狙うために持ち上げられている)ことを示す。デバイスが狙いを定めずに移動しているとデバイスが判定した場合、デバイスは、単一の画像を保持する。
一部の実施形態では、シーンに対するシーン認識を行うことが、テキストを認識することを含む(2626)。アクションキャプチャ基準が、シーンにおけるテキストの量が既定の閾値を下回っている場合に満たされる基準を含む。一部の実施形態では、デバイスは、写真が領収書又は文書である場合を認識する。写真が領収書又は文書である場合、デバイスは、拡張写真ではなく静止画像をキャプチャする。
図26A〜図26Dにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。一部の実装では、本明細書で説明される1つ以上の動作が省略される場合もある。例えば、一部の実施形態では、動作2610及び2612が省略される。加えて、本明細書に記載の他の方法(例えば、方法900、1000、10000、10050、1100、11000、1200、2400、2500及び2700)に関して本明細書で記載されている他のプロセスの詳細は、また、図26A〜図26Dに関連して上述されている方法2600に、類似の方法で適用可能であることも留意されたい。例えば、方法2600に関連して上述された、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスは、本明細書で説明される他の方法(例えば、方法900、1000、10000、10050、1100、11000、1200、2400、2500及び2700)に関連して本明細書で説明される、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスの特性のうちの1つ以上を、任意選択的に有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
図27A〜図27Dは、一部の実施形態に係る、画像シーケンス(例えば、拡張写真)をトリミングする方法2700の流れ図である。方法2700は、ディスプレイと、カメラと、任意選択のタッチ感知面とを備える電子デバイス(例えば、図3のデバイス300、又は、図1Aのポータブル多機能デバイス100)において実行される。一部の実施形態では、デバイスが、タッチ感知面との接触の強度を検出するための1つ以上のセンサを含む。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にある、又はディスプレイに一体化されている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法2700の一部の動作が任意選択的に組み合わされ、かつ/又は一部の動作の順序が任意選択的に変えられる。
一部の実施形態によれば、デバイスは、画像シーケンスを画像シーケンスのサブセットへトリミングする(例えば、画像シーケンスにおいて開始画像と終了画像とを修正する)ためのユーザインタフェースを提供する。ユーザが拡張写真のトリミングを要求した場合、デバイスは、画像シーケンスにおいて開始画像と終了画像とを修正するためにユーザが使用できる移動可能なハンドルを提供する。各ハンドルの最初(例えば、ユーザが画像シーケンスをトリミングするためのユーザインタフェースに最初に入った場合)の位置は、デバイスによって自動的に(例えば、シーン検出に基づいて)提供される。一部の実施形態では、ユーザは、自動的に提案された開始画像及び終了画像と、画像シーケンスにおける最初の画像及び最後の画像との間で、各ハンドルの位置を切り替えることができる。本明細書で使用する場合、用語「最初の画像」及び「最後の画像」は、(元の)画像シーケンスにおける1番目の画像及び最終画像を指し、他方、「開始画像」及び「終了画像」は、画像シーケンスのサブセットにおける1番目の画像及び最終画像を指す。
そのため、デバイスは、(例えば、デバイスが画像編集モードにある間に)ディスプレイ上に画像を表示する(2702)。
画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を含む。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。一部の実施形態では、画像シーケンスを撮ったカメラは、電子デバイスの一部である。一部の実施形態では、画像シーケンスは、電子デバイスの一部ではないカメラで撮られた(例えば、画像シーケンスは、別のデバイスのカメラで撮られた後、電子デバイスに転送された)。一部の実施形態では、画像シーケンスは、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、第1の時間におけるシャッターボタンのアクティブ化を検出したことに応じて取得されている。一部の実施形態では、代表画像は、図5A〜図5K及び方法900並びに/又は図22A〜図22D及び方法2600に関連して本明細書で説明するように、カメラが取得した代表画像に対応する。
一部の実施形態では、画像を表示する間に、デバイスは、画像が画像シーケンスにおけるそれぞれの画像であるという視覚的な指標を表示する(例えば、デバイスは、画像が拡張写真に由来するという指標を表示する)。一部の実施形態では、画像が画像シーケンスにおけるそれぞれの画像であるという視覚的な指標は、アフォーダンス(例えば、図23Aの選択可能なアフォーダンス2304)である。一部の実施形態では、拡張写真を表示する場合はアフォーダンスがアニメーション表示され、静止画像を表示する場合はアフォーダンスがアニメーション表示されない。一部の実施形態では、アフォーダンスのアクティブ化によって、ユーザが画像シーケンスをトリミングする機能を選択できる編集メニューが表示される。一部の実施形態では、方法2700の一部の動作は、ユーザが画像シーケンスをトリミングする機能をアクティブ化した後に行われる。
一部の実施形態では、表示画像が、画像シーケンスからの代表画像である(2704)。
一部の実施形態では、表示画像が、画像シーケンスからの現在選択されている画像である(2706)。一部の実施形態では、現在選択されている画像が、画像シーケンスにおける他の画像と視覚的に区別される。一部の実施形態では、現在選択されている画像は、第2のエリアにおいて、画像シーケンスにおける画像の表現を含む、エリアに現在選択されている画像の表現(例えば、サムネイル)と同時に表示される(後述)。一部の実施形態では、所与の画像を選択したことにより、代表画像が、新しい代表画像としての所与の画像と置き換わる。一部の実施形態では、ユーザは、画像シーケンスにおける所与の画像のサムネイル上をタップして、新しい代表画像を選択することによって、画像シーケンスのための新しい代表画像を選択できる。
画像シーケンスにおける画像をディスプレイ上に表示する間に、デバイスは、第1の入力を検出する(例えば、図23Bのトリムアイコン2310−3上へのタップジェスチャなどの、画像シーケンスをトリミングするためのユーザインタフェースを表示する要求に対応する入力を検出する)(2708)。
第1の入力を検出したことに応じて、デバイスは、画像シーケンスを画像シーケンスのすべて未満のサブセットへトリミングするためのユーザインタフェースを表示する(2710)。一部の実施形態では、ユーザインタフェースは、トリミングモードの一部である。
ユーザインタフェースは、画像シーケンスにおける画像の表現を含むエリア(例えば、図23Cのストリップ2316などのストリップ)と、画像シーケンスにおける画像の表現を含むエリアにおけるトリミング開始アイコンの位置を介して、画像シーケンスのサブセットにおける開始画像を定めるユーザ調整可能トリミング開始アイコン(例えば、図23Cの開始ハンドル2320−a)と、画像シーケンスにおける画像の表現を含むエリアにおけるトリミング終了アイコンの位置を介して、画像シーケンスのサブセットにおける終了画像を定めるユーザ調整可能トリミング終了アイコン(例えば、図23Cの終了ハンドル2320−b)と、を含む。一部の実施形態では、画像の表現は、表示画像よりも小さい。一部の実施形態では画像の表現は、画像シーケンスにおける画像のサムネイルである。一部の実施形態では、画像の表現は、時系列で配置される。
トリミング開始アイコンは、画像シーケンスにおける画像の表現を含むエリアにおいて、デバイスが自動的に選択した第1の位置に位置する。トリミング終了アイコンは、画像シーケンスにおける画像の表現を含むエリアにおいて、デバイスが自動的に選択した第2の位置に位置する。一部の実施形態では、(トリミング開始アイコンの最初の位置によって示される)デバイスによって自動的に選択されたサブセットのための開始画像は、画像シーケンスにおける最初の画像ではない。一部の実施形態では、サブセットのための開始画像は、画像シーケンスにおける、最初の画像よりも後の画像である。一部の実施形態では、(トリミング終了アイコンの第2の位置によって示される)デバイスによって自動的に選択されたサブセットのための終了画像は、画像シーケンスにおける最後の画像ではない。一部の実施形態では、サブセットのための終了画像は、画像シーケンスにおける、最後の画像よりも前の画像である。
一部の実施形態では、トリミング開始アイコンとトリミング終了アイコンとの間における画像の表現が、画像シーケンスにおける画像の表現を含むエリアにおける他の表現とは視覚的に区別される(2712)。一部の実施形態では、画像シーケンスと画像シーケンスのサブセットとの両方とも、カメラが取得した、中断されない連続する1組の画像を含む。
一部の実施形態では、画像シーケンスをトリミングするためのユーザインタフェースが、画像シーケンスにおける画像を表示する第2のエリアを含む(2714)。第2のエリアが、画像シーケンスにおける画像の表現を含むエリアと共に表示される。一部の実施形態では、第2の領域は、ディスプレイの半分よりも多く、ディスプレイの80%よりも多く又はディスプレイの90%よりも多くを占める。一部の実施形態では、ディスプレイの第2の領域は、ディスプレイの領域全体を占め、ディスプレイの上下にある任意選択のメニューバー及び画像シーケンスにおける画像の表現を含むエリアを省く。
一部の実施形態では、サブセットにおける開始画像とトリミング開始アイコンの対応する第1の位置とを自動的に選択することは、画像シーケンスにおける画像の1つ以上の特性に基づく(2716)。サブセットにおける終了画像とトリミング開始アイコンの対応する第2の位置とを自動的に選択することは、画像シーケンスにおける画像の1つ以上の特性に基づく。一部の実施形態では、デバイスは、画像シーケンスに対するシーン認識に基づいて、サブセットにおける開始画像及び終了画像を選択/提案する。
一部の実施形態では、画像シーケンスが、最初の画像と最後の画像とを含む(2718)。デバイスは、画像シーケンスにおける画像の表現を含むエリアに、画像シーケンスに含まれない、画像シーケンスにおける最初の画像の前に取得された及び/又は画像シーケンスにおける最後の画像の後に取得された画像の1つ以上の表現を表示する。一部の実施形態では、元の画像シーケンスをトリミングすることに加えて、ユーザはまた、元の画像シーケンスの直前又は直後に取得された画像を加えることもできる。
一部の実施形態では、第2の入力を検出する前に、画像シーケンスをトリミングするためのユーザインタフェースを表示する間に、デバイスは、トリミング終了アイコン上への入力を検出する(2720)。トリミング終了アイコン上への入力を検出したことに応じて、デバイスは、トリミング終了アイコンを、画像シーケンスにおける画像の表現を含むエリアにおける第2の位置から第3の位置に移動する。一部の実施形態では、ユーザは、デバイスによって自動的に推薦/選択されたサブセットのための終了画像を手動でオーバーライドできる。同様に、一部の実施形態では、ユーザは、例えば、トリミング開始アイコン上で開始し、画像シーケンスにおける画像の表現を含むエリアにおいて、トリミング開始アイコンを第1の位置から別の位置へ移動するドラッグジェスチャによって、デバイスによって自動的に推薦/選択されたサブセットのための開始画像を手動でオーバーライドできる。
画像シーケンスをトリミングするためのユーザインタフェースを表示する間に、デバイスは、第2の入力(例えば、図23Cの完了アイコン2301のアクティブ化を検出する)を検出する、又はトリミング開始アイコン及びトリミング終了アイコンの現在位置に従ってトリミングを開始する別のアイコンを検出する(2722)。
第2の入力を検出したことに応じて、デバイスは、画像シーケンスを、トリミング開始アイコンの現在位置とトリミング終了アイコンの現在位置とに従って、画像シーケンスのサブセットへトリミングする(2724)。一部の実施形態では、画像シーケンスを画像シーケンスのサブセットにトリミングすることは、サブセットにおける開始画像とサブセットにおける終了画像との位置を示すデータを記憶することを含む。
一部の実施形態では、デバイスは、画像シーケンスから画像シーケンスのサブセットに含まれない画像を削除する(2726)。一部の実施形態では、デバイスは、(デバイスによって自動的に選択/提案され、かつユーザによって確認された、又はユーザによって手動で選択された)サブセットにおける画像だけを含むように画像シーケンスを編集する。一部の実施形態では、デバイスは、サブセットにない画像を記憶し続け、例えば、その結果、ユーザは、(例えば、カメラが取得したまま)画像シーケンスにおける元の画像のすべてが利用可能な状態で、後で画像シーケンスを更に修正できる。
一部の実施形態では、画像シーケンスは、最初の画像と最後の画像とを含み、ユーザインタフェースが、リセットアフォーダンス(例えば、図23Cのリセットボタン2324、「手動」ボタン又は他の同様のアイコン)を含む(2728)。第2の入力を検出する前に、画像シーケンスをトリミングするためのユーザインタフェースを表示する間に、デバイスは、リセットアフォーダンス上への入力(例えば、図23Cのリセットボタン2324上へのタップジェスチャ)を検出する。リセットアフォーダンス上への入力を検出したことに応じて、デバイスは、トリミング開始アイコンを、画像シーケンスにおける画像の表現を含むエリアにおいて、画像シーケンスにおける最初の画像を定めることに対応する位置に表示し、トリミング終了アイコンを、画像シーケンスにおける画像の表現を含むエリアにおいて、画像シーケンスにおける最後の画像を定めることに対応する位置に表示する。
一部の実施形態では、リセットアフォーダンス上への入力を検出したことに応じて、デバイスは、アクティブ化した場合に、画像シーケンスにおける画像の表現を含むエリアにおいて、トリミング開始アイコンを第1の位置に表示し、トリミング終了アイコンを第2の位置に表示する、自動選択アフォーダンス(例えば、図23Dの「自動」アイコン2332)を表示する(2730)。一部の実施形態では、「自動」アイコンの表示は、「リセット」アイコンの表示と置き換わる。
一部の実施形態では、第3の入力を検出したことに応じて、デバイスは、画像シーケンスのサブセットのための新しい代表画像(例えば、サブセットの中央の画像又は画像シーケンスのサブセットに対して行われたシーン認識に基づいて選択された画像)を選択する(2732)。
一部の実施形態では、トリミング開始アイコンの現在位置及びトリミング終了アイコンの現在位置に従って、画像シーケンスを画像シーケンスのサブセットへトリミングした後、デバイスは、画像シーケンスのサブセットの代表画像をディスプレイ上に表示する(2734)(例えば、デバイスが画像提示モードにある間に)。一部の実施形態では、画像シーケンスのサブセットの代表画像は、画像シーケンスの代表画像と同じである。一部の実施形態では、画像シーケンスのサブセットの代表画像は、画像シーケンスの代表画像とは異なる。一部の実施形態では、サブセットの代表画像は、編集モードから出る要求に対応する入力に応じて表示される。代表画像をディスプレイ上に表示する間に、デバイスは、第3の入力(例えば、長押しジェスチャ又は再生のための接触強度基準を満たすジェスチャなどの、画像シーケンスのサブセットを再生する要求に対応する入力)を検出する。第3の入力を検出したことに応じて、デバイスは、代表画像の表示を、画像シーケンスにおけるサブセットのアニメーション表示された再生と置き換える。一部の実施形態では、画像シーケンスのサブセットの再生は、図6A〜図6FF及び方法1000/10000/10050に関連して本明細書で説明した画像シーケンスの再生に類似の仕方でなされる。
一部の実施形態では、第4の入力を検出したことに応じて、デバイスは、画像のサブセットを保持しながら、画像シーケンスのサブセットのアニメーション表示された再生を無効化する(2736)。
一部の実施形態では、代表画像を編集する要求に対応する第3の入力を検出したことに応じて、デバイスは、画像シーケンスのサブセットのアニメーション表示された再生を無効化した状態で、代表画像を編集し続けることと、代表画像の編集をキャンセルすることと、を行う任意選択をデバイスのユーザに提供する(2738)。
一部の実施形態では、デバイスは、代表画像以外の画像シーケンスにおける画像を削除するためのアフォーダンスを提示する(2740)。第3の入力を検出したことに応じて、デバイスは、代表画像を取得した後にカメラが取得した1つ以上の画像と、代表画像を取得する前にカメラが取得した1つ以上の画像と、を削除する。
図27A〜図27Eにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。一部の実装では、本明細書で説明される1つ以上の動作が省略される場合もある。例えば、一部の実施形態では、動作2714及び2716が省略される。加えて、本明細書に記載の他の方法(例えば、方法900、1000、10000、10050、1100、11000、1200、2400、2500及び2600)に関して本明細書で記載されている他のプロセスの詳細は、また、図27A〜図27Eに関連して上述されている方法2700に、類似の方法で適用可能であることも留意されたい。例えば、方法2700に関連して上述された、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスは、本明細書で説明される他の方法(例えば、方法900、1000、10000、10050、1100、11000、1200、2400、2500及び2600)に関連して本明細書で説明される、接触、ジェスチャ、ユーザインタフェースオブジェクト、強度閾値、アニメーション及び画像シーケンスの特性のうちの1つ以上を、任意選択的に有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
一部の実施形態によれば、図28は、説明される様々な実施形態の原理に従って構成された、電子デバイス2800の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、任意選択的に実装される。図28で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に、組み合わされ、又はサブブロックに分割されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を任意選択的に支持する。
図28に示すように、電子デバイス2800は、画像を表示するように構成されたディスプレイユニット2802と、入力を検出するように構成されたタッチ感知面ユニット2804と、ディスプレイユニット2802及びタッチ感知面ユニット2804に接続された処理ユニット2808と、を備える。一部の実施形態では、処理ユニット2808は表示有効化ユニット2810と、検出ユニット2812と、修正ユニット2814と、削除ユニット2816とを含む。
処理ユニット2808は、ディスプレイユニット2812上に代表画像を(例えば、表示可能化ユニット2810によって)表示可能とするように構成される。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。処理ユニット2808は、ディスプレイユニット2802上に代表画像を表示可能とする間に、代表画像を修正する入力を(例えば、タッチ感知面ユニット2804と併せて、検出ユニット2812によって)検出するように更に構成される。処理ユニット2808は、代表画像を修正する入力を検出したことに応じて、デバイスが第1の編集モードにあるという判定に従って、代表画像と、代表画像を取得した後にカメラが取得した1つ以上の画像、代表画像を取得する前にカメラが取得した1つ以上の画像と、を(例えば、修正ユニット2814によって)修正することと、デバイスが第1の編集モードとは異なる第2の編集モードにあるという判定に従って、代表画像を取得した後にカメラが取得した1つ以上の画像を修正せずに、かつ代表画像を取得する前にカメラが取得した1つ以上の画像を修正せずに、代表画像を(例えば、修正ユニット2814によって)修正することと、を行うように更に構成される。
一部の実施形態によれば、図29は、説明される様々な実施形態の原理に従って構成された、電子デバイス2900の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、任意選択的に実装される。図29で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に、組み合わされ、又はサブブロックに分割されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を任意選択的に支持する。
図29に示すように、第1の電子デバイス2900は、画像を表示するように構成されたディスプレイユニット2902と、ユーザ入力を検出するように構成された任意選択的なタッチ感知面ユニット2904と、タッチ感知面ユニット2904との接触の強度を検出するように構成された1つ以上の任意選択のセンサユニット2906と、ディスプレイユニット2902、任意選択のタッチ感知面ユニット2904及び1つ以上の任意選択のセンサユニット2906に接続された処理ユニット2908と、を備える。一部の実施形態では、処理ユニット2908は、表示可能化ユニット2910、検出ユニット2912、判定ユニット2914、修正ユニット2916、及び送信ユニット2918を含む。
処理ユニット2908は、ディスプレイユニット2902上で、他の電子デバイスと通信するように構成されたアプリケーションのユーザインタフェースに代表画像を(例えば、表示可能化ユニット2910によって)表示可能とするように構成される。代表画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。処理ユニット2908は、代表画像をディスプレイユニット2902上に表示可能とする間に、アプリケーションを使用して、電子デバイスから遠隔の第2の電子デバイスへと、代表画像を送信する要求又は送信するための代表画像を選択する要求に対応する入力を(例えば、タッチ感知面ユニット2904と併せて、検出ユニット2912によって)検出するように更に構成される。処理ユニット2908は、第2の電子デバイスへと、代表画像を送信する要求又は送信するための代表画像を選択する要求に対応する入力を検出したことに応じて、第2の電子デバイスが画像シーケンスとグループとして双方向作用するように構成されているという判定に従って、画像シーケンスのうちの少なくとも一部を第2の電子デバイスに送信するための第1の1組の任意選択を(例えば、表示可能化ユニット2910によって)表示可能とすることと、第2の電子デバイスが画像シーケンスとグループとして双方向作用するように構成されていないという判定に従って、画像シーケンスのうちの少なくとも一部を第2の電子デバイスに送信するための第2の1組の任意選択を(例えば、表示可能化ユニット2910によって)表示可能とすることと、を行うように更に構成される。第2の1組の任意選択は、第1の1組の任意選択とは異なる。
一部の実施形態によれば、図30は、説明される様々な実施形態の原理に従って構成された、電子デバイス3000の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、任意選択的に実装される。図30で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に、組み合わされ、又はサブブロックに分割されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を任意選択的に支持する。
図30に示すように、電子デバイス3000は、画像を表示するように構成されたディスプレイユニット3002と、入力を検出するように構成された任意選択的なタッチ感知面ユニット3004と、画像を取得するように構成されたカメラユニット2906と、ディスプレイユニット3002、任意選択のタッチ感知面ユニット3004及びカメラユニット2906に接続された処理ユニット3008と、を備える。一部の実施形態では、処理ユニット3008は、表示可能化ユニット3010と、検出ユニット3012と、シーン認識実行ユニット3014と、保持ユニット3016と、グループ化ユニット3018と、取得ユニット3020とを備える。
処理ユニット3008は、カメラユニット3006のための第1のメディア取得モードの間に、ディスプレイユニット3002上にシーンのライブプレビューを(例えば、表示可能化ユニット3010によって)表示可能とすることと、シーンに対してシーン認識を行うことと、を(例えば、シーン認識実行ユニット3014によって)行うように構成される。処理ユニット3008は、シーンのライブプレビューを表示可能とする間に、第1の時間におけるシャッターボタンの単一のアクティブ化を(例えば、タッチ感知面ユニット3004と併せて検出ユニット3012によって)検出するように更に構成される。処理ユニット3008は、第1の時間におけるシャッターボタンの単一のアクティブ化を検出したことに応じて、シーンに対して行われたシーン認識に少なくとも部分的に基づく、シーンがアクションキャプチャ基準を満たすという判定に従って、第1の時間におけるシャッターボタンのアクティブ化の時間的近傍で、カメラユニット3006が取得した複数の画像を(例えば、保持ユニット3016によって)保持することと、複数の画像を第1の画像シーケンスへと(例えば、グループ化ユニット3018によって)グループ化することと、を行うように更に構成される。第1の画像シーケンスは、第1の時間におけるシャッターボタンのアクティブ化を検出する前にカメラユニット3006が取得した複数の画像と、第1の画像シーケンスを代表し、かつ第1の画像シーケンスにおける他の画像のうちの1つ以上の後にカメラユニット3006が取得した、代表画像と、代表画像を取得した後にカメラユニット3006が取得した複数の画像と、を含む。処理ユニット3008は、シーンがアクションキャプチャ基準を満たしていないという判定に従って、第1の時間におけるシャッターボタンのアクティブ化の時間的近傍にある単一の画像を(例えば、保持ユニット3016によって)保持するように更に構成される。
一部の実施形態によれば、図31は、説明される様々な実施形態の原理に従って構成された、電子デバイス3100の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、任意選択的に実装される。図31で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように任意選択的に、組み合わされ、又はサブブロックに分割されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を任意選択的に支持する。
図31に示すように、電子デバイス3100は、画像を表示するように構成されたディスプレイユニット3102と、入力を検出するように構成されたタッチ感知面ユニット3104と、ディスプレイユニット3102及びタッチ感知面ユニット3104に接続された処理ユニット3108と、を備える。一部の実施形態では、処理ユニット3108は、表示可能化ユニット3110、検出ユニット3112、トリミングユニット3114、選択ユニット3116、移動ユニット3118及び削除ユニット3120を含む。
処理ユニット3108は、ディスプレイユニット3102上に画像を(例えば、表示可能化ユニット3110によって)表示可能とするように構成される。画像は、カメラが撮った画像シーケンスにおける1つの画像である。画像シーケンスは、代表画像を含む。画像シーケンスは、代表画像を取得した後にカメラが取得した1つ以上の画像を含む。画像シーケンスは、代表画像を取得する前にカメラが取得した1つ以上の画像を含む。
処理ユニット3108は、ディスプレイユニット3102上に画像シーケンスにおける画像を表示可能とする間に、第1の入力を(例えば、検出ユニット3112によって)検出するように更に構成される。処理ユニット3108は、第1の入力を検出したことに応じて、画像シーケンスを画像シーケンスのすべて未満のサブセットへとトリミングするためのユーザインタフェースを(例えば、表示可能化ユニット3110によって)表示可能とするように更に構成される。ユーザインタフェースは、画像シーケンスにおける画像の表現を含むエリアと、画像シーケンスにおける画像の表現を含むエリアにおけるトリミング開始アイコンの位置を介して、画像シーケンスのサブセットにおける開始画像を定めるユーザ調整可能トリミング開始アイコンと、画像シーケンスにおける画像の表現を含むエリアにおけるトリミング終了アイコンの位置を介して、画像シーケンスのサブセットにおける終了画像を定めるユーザ調整可能トリミング終了アイコンと、を含む。トリミング開始アイコンは、画像シーケンスにおける画像の表現を含むエリアにおいて、デバイスが自動的に選択した第1の位置に位置する。トリミング終了アイコンは、画像シーケンスにおける画像の表現を含むエリアにおいて、デバイスが自動的に選択した第2の位置に位置する。
処理ユニット3108は、画像シーケンスをトリミングするためのユーザインタフェースを表示可能とする間に、第2の入力を(例えば、検出ユニット3112によって)検出するように更に構成される。処理ユニット3108は、第2の入力を検出したことに応じて、画像シーケンスを、トリミング開始アイコンの現在位置とトリミング終了アイコンの現在位置とに従って、画像シーケンスのサブセットへと(例えば、トリミングユニット3114によって)トリミングするように更に構成される。
上述の方法での動作は、汎用プロセッサ(例えば、図1A及び図3に関連して上述されたようなもの)又は特定用途向けチップなどの、情報処理装置内の1つ以上の機能モジュールを稼働することによって、任意選択的に実施される。図9A〜図9Gを参照して上述された動作は、図1A〜図1B、又は図13に示される構成要素によって、任意選択的に実施される。例えば、検出動作908は、任意選択的に、イベントソート部170、イベント認識部180、及びイベントハンドラ190によって実施される。イベントソート部170のイベントモニタ171は、タッチ感知ディスプレイ112上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136−1に配信する。アプリケーション136−1のそれぞれのイベント認識部180は、そのイベント情報をそれぞれのイベント定義186に照会し、タッチ感知面上の第1の場所での第1の接触(又は、デバイスの回転)が、ユーザインタフェース上のオブジェクトの選択、又は1つの向きから別の向きへのデバイスの回転などの、既定イベント又はサブイベントに対応するか否かを判定する。それぞれの既定イベント又はサブイベントが検出されると、イベント認識部180は、イベント又はサブイベントの検出に関連するイベントハンドラ190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データアップデーター176若しくはオブジェクトアップデーター177を、任意選択的に用いるか又は呼び出す。一部の実施形態では、イベントハンドラ190は、アプリケーションにより表示されるものを更新するために、対応するGUIアップデーター178にアクセスする。同様に、当業者にとって、他のプロセスが図1A〜図1Bに示される構成要素に基づいてどのように実施されるかは明らかであるだろう。
上述の説明は、説明の目的上、特定の実施形態を参照して説明されている。しかしながら、上記の例示的な論考は、網羅的であること、又は本発明を、開示される厳密な形態に限定することを意図するものではない。例えば、本明細書で説明される方法はまた、リモコン装置及びディスプレイと通信する、音声及び/又は視覚的コンテンツの管理、再生及び/又は(例えば、外部サーバからの)ストリーミングのために構成された電子デバイス(例えば、Apple Inc.(Cupertino,California)からのApple TV(登録商標))に類似の仕方で適用可能である。そのようなデバイスでは、デバイス自体にタッチ感知面、音声入力デバイス(例えば、マイクロフォン)及び/又はボタンを有するのではなく、リモコン装置のタッチ感知面上へのジェスチャ、リモコン装置への音声入力及び/又はリモコン装置上のボタンのアクティブ化に対応する入力を任意選択的に受ける。そのようなデバイスでは、データは、任意選択的に、デバイス自体が表示するのではなく、ディスプレイに提供される。上述の教示を考慮すれば、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に好適な様々な改良で本発明及び様々な実施形態を最良の形で使用することを可能とするために、これらの実施形態を選択し説明した。

Claims (45)

  1. ディスプレイ及びタッチ感知面を備えた電子デバイスにおいて、
    複数の画像シーケンスを記憶することであって、それぞれの画像シーケンスが、
    カメラが撮ったそれぞれの代表画像と、
    前記それぞれの代表画像を取得する前に前記カメラが取得した1つ以上の画像と、を含む、ことと、
    第1の画像シーケンスのための第1の代表画像を前記ディスプレイ上の移動可能な第1のエリアに表示することと、
    前記タッチ感知面上でのジェスチャを検出することであって、前記ジェスチャが、前記ディスプレイ上での第1の方向への移動に対応する接触による移動を含む、ことと、
    前記タッチ感知面上で前記ジェスチャを検出したことに応じて、
    前記ディスプレイ上で、前記第1のエリアを前記第1の方向に移動することと、
    前記ディスプレイ上で、移動可能な第2のエリアを前記第1の方向に移動することと、
    シーケンス表示基準が満たされているという判定に従って、前記第2のエリアを前記第1の方向に移動する間に、第2の画像シーケンスのための第2の代表画像を取得する前に前記カメラが取得した前記第2の画像シーケンスのための前記1つ以上の画像のうちの少なくとも一部を、前記第2のエリアにおいて時系列で表示することと、
    を含む、方法。
  2. 前記タッチ感知面上で前記ジェスチャを検出したことに応じて、
    前記シーケンス表示基準が満たされていないという判定に従って、前記第2のエリアを前記第1の方向に移動する間に、前記第2の画像シーケンスのための前記第2の代表画像を前記ディスプレイ上の前記移動可能な第2のエリアに表示すること
    を含む、請求項1に記載の方法。
  3. 前記シーケンス表示基準が、前記接触が、前記第2の代表画像を取得する前に前記カメラが取得した前記第2の画像シーケンスのための前記1つ以上の画像のうちの少なくとも一部を前記第2のエリアに時系列で表示する前にリフトオフするという基準を含む、請求項1又は2に記載の方法。
  4. 前記移動可能な第2のエリアを前記ディスプレイ上で前記第1の方向に移動することが、前記第2の代表画像を取得する前に取得されたそれぞれの前の画像を前記第2の領域に表示することを含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記シーケンス表示基準が、前記接触のリフトオフを検出することを含み、前記方法が、
    前記接触のリフトオフを検出したことに応じて、前記移動可能な第2のエリアを前記第1の方向に移動し続けること及び前記移動可能な第1のエリアを前記第1の方向に移動し続けることであって、前記第2の画像シーケンスからの前記画像が、前記移動可能な第2のエリアが前記第1の方向への移動を停止した場合に前記第2の代表画像が前記移動可能な第2のエリアに表示されるようなレートで表示される、こと
    を含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記移動可能な第1の領域を移動する間に、画像のためのシミュレーションされた視差効果を前記移動可能な第1の領域内で表示して、前記移動可能な第1の領域内の前記画像が、前記移動可能な第1の領域のフレームに対してシフトするようにすることを含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記接触が前記タッチ感知面上で検出されている間に前記移動可能な第2の領域を移動する間に、画像のためのシミュレーションされた視差効果を前記移動可能な第2の領域内で表示して、前記移動可能な第2の領域内の前記画像が、前記移動可能な第2の領域のフレームに対してシフトするようにすることを含む、請求項1から6のいずれか一項に記載の方法。
  8. それぞれの画像シーケンスが、前記それぞれの代表画像を取得した後に前記カメラが取得した1つ以上の画像を含む、請求項1から7のいずれか一項に記載の方法。
  9. 前記第1のエリアを前記第1の方向に移動することが、前記第1のエリアの少なくとも一部分を前記第1の方向に前記ディスプレイ外へ移動することを含む、請求項1から8のいずれか一項に記載の方法。
  10. 前記第2のエリアを前記第1の方向に移動することが、前記第2のエリアの少なくとも一部分を前記第1の方向に前記ディスプレイ内へ移動することを含む、請求項1から9のいずれか一項に記載の方法。
  11. 前記第2のエリアを前記第1の方向に移動した後に、前記第2の画像シーケンスのための前記第2の代表画像を前記第2のエリアに表示することを含む、請求項1から10のいずれか一項に記載の方法。
  12. 前記第2の画像シーケンスのための前記第2の代表画像を前記第2のエリアに表示する間に、前記第2の代表画像に対応する入力の強度の変化を検出することと、
    前記入力の強度の前記変化を検出したことに応じて、前記ディスプレイ上で前記第2のエリアを移動せずに、前記第2のエリアにおける前記第2の画像シーケンス間を進むことと、
    を含む、請求項11に記載の方法。
  13. 前記第1のエリア及び前記第2のエリアを移動する間に、前記ジェスチャの終了を検出することと、
    前記第1のエリア及び前記第2のエリアを移動する間に、前記ジェスチャの終了を検出したことに応じて、
    前記ジェスチャが、次シーケンスナビゲーション基準を満たすという判定に従って、
    前記第1のエリアを前記第1の方向に完全に前記ディスプレイ外へ移動することと、
    前記第2のエリアを完全に前記ディスプレイ内へ移動することと、
    前記第2の画像シーケンスのための前記第2の代表画像を前記第2のエリアに表示することと、
    を含む、請求項1から12のいずれか一項に記載の方法。
  14. 前記第1のエリア及び前記第2のエリアを移動する間に、前記ジェスチャの終了を検出したことに応じて、
    前記ジェスチャが、前記次シーケンスナビゲーション基準を満たしていないという判定に従って、
    前記第2のエリアを前記第1の方向とは反対の第2の方向に完全に前記ディスプレイ外へ移動することと、
    前記第1のエリアを完全に前記ディスプレイ内へ移動することと、
    前記第1の画像シーケンスのための前記第1の代表画像を前記第1のエリアに表示することと、
    を含む、請求項13に記載の方法。
  15. 前記第1の画像シーケンスが、メッセージングアプリケーションのスクロール可能領域に表示されたメッセージ会話におけるメッセージであり、前記第1の画像シーケンスが、前記メッセージングアプリケーションの前記スクロール可能領域がスクロールされるにつれて表示される、請求項1から14のいずれか一項に記載の方法。
  16. ディスプレイと、
    タッチ感知面と、
    1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備える電子デバイスであって、前記1つ以上のプログラムが、前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、
    複数の画像シーケンスを記憶することであって、それぞれの画像シーケンスが、
    カメラが撮ったそれぞれの代表画像と、
    前記それぞれの代表画像を取得する前に前記カメラが取得した1つ以上の画像と、を含む、ことと、
    第1の画像シーケンスのための第1の代表画像を前記ディスプレイ上の移動可能な第1のエリアに表示することと、
    前記タッチ感知面上でのジェスチャを検出することであって、前記ジェスチャが、前記ディスプレイ上での第1の方向への移動に対応する接触による移動を含む、ことと、
    前記タッチ感知面上で前記ジェスチャを検出したことに応じて、
    前記ディスプレイ上で、前記第1のエリアを前記第1の方向に移動することと、
    前記ディスプレイ上で、移動可能な第2のエリアを前記第1の方向に移動することと、
    シーケンス表示基準が満たされているという判定に従って、前記第2のエリアを前記第1の方向に移動する間に、第2の画像シーケンスのための第2の代表画像を取得する前に前記カメラが取得した前記第2の画像シーケンスのための前記1つ以上の画像のうちの少なくとも一部を、前記第2のエリアにおいて時系列で表示することと、
    を行うための命令を含む、1つ以上のプログラムと、
    を備える、電子デバイス。
  17. 前記タッチ感知面上で前記ジェスチャを検出したことに応じて、
    前記シーケンス表示基準が満たされていないという判定に従って、前記第2のエリアを前記第1の方向に移動する間に、前記第2の画像シーケンスのための前記第2の代表画像を前記ディスプレイ上の前記移動可能な第2のエリアに表示することを行うための命令を含む、請求項16に記載のデバイス。
  18. 前記シーケンス表示基準が、前記接触が、前記第2の代表画像を取得する前に前記カメラが取得した前記第2の画像シーケンスのための前記1つ以上の画像のうちの少なくとも一部を前記第2のエリアに時系列で表示する前にリフトオフするという基準を含む、請求項16又は17に記載のデバイス。
  19. 前記移動可能な第2のエリアを前記ディスプレイ上で前記第1の方向に移動することが、前記第2の代表画像を取得する前に取得したそれぞれの前の画像を前記第2の領域に表示することを含む、請求項16から18のいずれか一項に記載のデバイス。
  20. 前記シーケンス表示基準が、前記接触のリフトオフを検出することを含み、前記デバイスが、
    前記接触のリフトオフを検出したことに応じて、前記移動可能な第2のエリアを前記第1の方向に移動し続けること及び前記移動可能な第1のエリアを前記第1の方向に移動し続けることであって、前記第2の画像シーケンスからの前記画像が、前記移動可能な第2のエリアが前記第1の方向への移動を停止した場合に前記第2の代表画像が前記移動可能な第2のエリアに表示されるようなレートで表示される、こと
    を行うための命令を含む、請求項16から19のいずれか一項に記載のデバイス。
  21. 前記移動可能な第1の領域を移動する間に、画像のためのシミュレーションされた視差効果を前記移動可能な第1の領域内で表示して、前記移動可能な第1の領域内の前記画像が、前記移動可能な第1の領域のフレームに対してシフトするようにすることを行うための命令を含む、請求項16から20のいずれか一項に記載のデバイス。
  22. 前記接触が前記タッチ感知面上で検出されている間に前記移動可能な第2の領域を移動する間に、画像のためのシミュレーションされた視差効果を前記移動可能な第2の領域内で表示して、前記移動可能な第2の領域内の前記画像が、前記移動可能な第2の領域のフレームに対してシフトするようにすることを行うための命令を含む、請求項16から21のいずれか一項に記載のデバイス。
  23. それぞれの画像シーケンスが、前記それぞれの代表画像を取得した後に前記カメラが取得した1つ以上の画像を含む、請求項16から22のいずれか一項に記載のデバイス。
  24. 前記第1のエリアを前記第1の方向に移動することが、前記第1のエリアの少なくとも一部分を前記第1の方向に前記ディスプレイ外へ移動することを含む、請求項16から23のいずれか一項に記載のデバイス。
  25. 前記第2のエリアを前記第1の方向に移動することが、前記第2のエリアの少なくとも一部分を前記第1の方向に前記ディスプレイ内へ移動することを含む、請求項16から24のいずれか一項に記載のデバイス。
  26. 前記第2のエリアを前記第1の方向に移動した後に、前記第2の画像シーケンスのための前記第2の代表画像を前記第2のエリアに表示することを行うための命令を含む、請求項16から25のいずれか一項に記載のデバイス。
  27. 前記第2の画像シーケンスのための前記第2の代表画像を前記第2のエリアに表示する間に、前記第2の代表画像に対応する入力の強度の変化を検出することと、
    前記入力の強度の前記変化を検出したことに応じて、前記ディスプレイ上で前記第2のエリアを移動せずに、前記第2のエリアにおける前記第2の画像シーケンス間を進むことと、
    を行うための命令を含む、請求項26に記載のデバイス。
  28. 前記第1のエリア及び前記第2のエリアを移動する間に、前記ジェスチャの終了を検出することと、
    前記第1のエリア及び前記第2のエリアを移動する間に、前記ジェスチャの終了を検出したことに応じて、
    前記ジェスチャが、次シーケンスナビゲーション基準を満たすという判定に従って、
    前記第1のエリアを前記第1の方向に完全に前記ディスプレイ外へ移動することと、
    前記第2のエリアを完全に前記ディスプレイ内へ移動することと、
    前記第2の画像シーケンスのための前記第2の代表画像を前記第2のエリアに表示することと、
    を行うための命令を含む、請求項16から27のいずれか一項に記載のデバイス。
  29. 前記第1のエリア及び前記第2のエリアを移動する間に、前記ジェスチャの終了を検出したことに応じて、
    前記ジェスチャが、前記次シーケンスナビゲーション基準を満たしていないという判定に従って、
    前記第2のエリアを前記第1の方向とは反対の第2の方向に完全に前記ディスプレイ外へ移動することと、
    前記第1のエリアを完全に前記ディスプレイ内へ移動することと、
    前記第1の画像シーケンスのための前記第1の代表画像を前記第1のエリアに表示することと、
    を行うための命令を含む、請求項28に記載のデバイス。
  30. 前記第1の画像シーケンスが、メッセージングアプリケーションのスクロール可能領域に表示されたメッセージ会話におけるメッセージであり、前記第1の画像シーケンスが、前記メッセージングアプリケーションの前記スクロール可能領域がスクロールされるにつれて表示される、請求項16から29のいずれか一項に記載のデバイス。
  31. 1つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記1つ以上のプログラムが命令を含み、前記命令は、ディスプレイ及びタッチ感知面を備えた電子デバイスによって実行されると、前記デバイスに、
    複数の画像シーケンスを記憶することであって、それぞれの画像シーケンスが、
    カメラが撮ったそれぞれの代表画像と、
    前記それぞれの代表画像を取得する前に前記カメラが取得した1つ以上の画像と、を含む、ことと、
    第1の画像シーケンスのための第1の代表画像を前記ディスプレイ上の移動可能な第1のエリアに表示することと、
    前記タッチ感知面上でのジェスチャを検出することであって、前記ジェスチャが、前記ディスプレイ上での第1の方向への移動に対応する接触による移動を含む、ことと、
    前記タッチ感知面上で前記ジェスチャを検出したことに応じて、
    前記ディスプレイ上で、前記第1のエリアを前記第1の方向に移動することと、
    前記ディスプレイ上で、移動可能な第2のエリアを前記第1の方向に移動することと、
    シーケンス表示基準が満たされているという判定に従って、前記第2のエリアを前記第1の方向に移動する間に、第2の画像シーケンスのための第2の代表画像を取得する前に前記カメラが取得した前記第2の画像シーケンスのための前記1つ以上の画像のうちの少なくとも一部を、前記第2のエリアにおいて時系列で表示することと、
    を行わせる、コンピュータ可読記憶媒体。
  32. 前記電子デバイスによって実行された場合に、前記電子デバイスに、
    前記タッチ感知面上で前記ジェスチャを検出したことに応じて、
    前記シーケンス表示基準が満たされていないという判定に従って、前記第2のエリアを前記第1の方向に移動する間に、前記第2の画像シーケンスのための前記第2の代表画像を前記ディスプレイ上の前記移動可能な第2のエリアに表示すること
    を行わせる命令を含む、請求項31に記載の記憶媒体。
  33. 前記シーケンス表示基準が、前記接触が、前記第2の代表画像を取得する前に前記カメラが取得した前記第2の画像シーケンスのための前記1つ以上の画像のうちの少なくとも一部を前記第2のエリアに時系列で表示する前にリフトオフするという基準を含む、請求項31又は32に記載の記憶媒体。
  34. 前記移動可能な第2のエリアを前記ディスプレイ上で前記第1の方向に移動することが、前記第2の代表画像を取得する前に取得したそれぞれの前の画像を前記第2の領域に表示することを含む、請求項31から33のいずれか一項に記載の記憶媒体。
  35. 前記シーケンス表示基準が、前記接触のリフトオフを検出することを含み、前記デバイスが、前記電子デバイスによって実行されると、前記電子デバイスに、
    前記接触のリフトオフを検出したことに応じて、前記移動可能な第2のエリアを前記第1の方向に移動し続けること及び前記移動可能な第1のエリアを前記第1の方向に移動し続けることであって、前記第2の画像シーケンスからの前記画像が、前記移動可能な第2のエリアが前記第1の方向への移動を停止した場合に前記第2の代表画像が前記移動可能な第2のエリアに表示されるようなレートで表示される、こと
    を行わせる命令を含む、請求項31から33のいずれか一項に記載の記憶媒体。
  36. 前記電子デバイスによって実行されると、前記電子デバイスに、前記移動可能な第1の領域を移動する間に、画像のためのシミュレーションされた視差効果を前記移動可能な第1の領域内で表示して、前記移動可能な第1の領域内の前記画像が、前記移動可能な第1の領域のフレームに対してシフトするようにすることを行わせる命令を含む、請求項31から35のいずれか一項に記載の記憶媒体。
  37. 前記電子デバイスによって実行されると、前記電子デバイスに、前記タッチ感知面上で前記接触が検出されている間に前記移動可能な第2の領域を移動する間に、画像のためのシミュレーションされた視差効果を前記移動可能な第2の領域内で表示して、前記移動可能な第2の領域内の前記画像が、前記移動可能な第2の領域のフレームに対してシフトするようにすることを行わせる命令を含む、請求項31から36のいずれか一項に記載の記憶媒体。
  38. それぞれの画像シーケンスが、前記それぞれの代表画像を取得した後に前記カメラが取得した1つ以上の画像を含む、請求項31から37のいずれか一項に記載の記憶媒体。
  39. 前記第1のエリアを前記第1の方向に移動することが、前記第1のエリアの少なくとも一部分を前記第1の方向に前記ディスプレイ外へ移動することを含む、請求項31から38のいずれか一項に記載の記憶媒体。
  40. 前記第2のエリアを前記第1の方向に移動することが、前記第2のエリアの少なくとも一部分を前記第1の方向に前記ディスプレイ内へ移動することを含む、請求項31から39のいずれか一項に記載の記憶媒体。
  41. 前記電子デバイスによって実行されると、前記電子デバイスに、前記第2のエリアを前記第1の方向に移動した後に、前記第2の画像シーケンスのための前記第2の代表画像を前記第2のエリアに表示することを行わせる命令を含む、請求項31から36のいずれか一項に記載の記憶媒体。
  42. 前記電子デバイスによって実行されると、前記電子デバイスに、
    前記第2の画像シーケンスのための前記第2の代表画像を前記第2のエリアに表示する間に、前記第2の代表画像に対応する入力の強度の変化を検出することと、
    前記入力の強度の前記変化を検出したことに応じて、前記ディスプレイ上で前記第2のエリアを移動せずに、前記第2のエリアにおける前記第2の画像シーケンス間を進むことと、
    を行わせる命令を含む、請求項41に記載の記憶媒体。
  43. 前記電子デバイスによって実行されると、前記電子デバイスに、
    前記第1のエリア及び前記第2のエリアを移動する間に、前記ジェスチャの終了を検出することと、
    前記第1のエリア及び前記第2のエリアを移動する間に、前記ジェスチャの終了を検出したことに応じて、
    前記ジェスチャが、次シーケンスナビゲーション基準を満たすという判定に従って、
    第1のエリアを第1の方向に完全にディスプレイ外へ移動することと、
    第2のエリアを完全にディスプレイ内へ移動することと、
    第2の画像シーケンスのための第2の代表画像を第2のエリアに表示することと、
    を行わせる命令を含む、請求項31から42のいずれか一項に記載の記憶媒体。
  44. 前記電子デバイスによって実行されると、前記電子デバイスに、
    前記第1のエリア及び前記第2のエリアを移動する間に、前記ジェスチャの終了を検出したことに応じて、
    前記ジェスチャが、前記次シーケンスナビゲーション基準を満たしていないという判定に従って、
    第2のエリアを第1の方向とは反対の第2の方向に完全にディスプレイ外へ移動することと、
    前記第1のエリアを完全に前記ディスプレイ内へ移動することと、
    前記第1の画像シーケンスのための前記第1の代表画像を前記第1のエリアに表示することと、
    を行わせる命令を含む、請求項43に記載の記憶媒体。
  45. 前記第1の画像シーケンスが、メッセージングアプリケーションのスクロール可能領域に表示されたメッセージ会話におけるメッセージであり、前記第1の画像シーケンスが、前記メッセージングアプリケーションの前記スクロール可能領域がスクロールされるにつれて表示される、請求項31から44のいずれか一項に記載の記憶媒体。
JP2017561375A 2015-06-07 2016-05-20 拡張デジタル画像のキャプチャ及び拡張デジタル画像との双方向作用のためのデバイス及び方法 Active JP6462160B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201562172223P 2015-06-07 2015-06-07
US62/172,223 2015-06-07
US201562172233P 2015-06-08 2015-06-08
US62/172,233 2015-06-08
US201562215689P 2015-09-08 2015-09-08
US62/215,689 2015-09-08
US14/863,432 US9860451B2 (en) 2015-06-07 2015-09-23 Devices and methods for capturing and interacting with enhanced digital images
US14/863,432 2015-09-23
PCT/US2016/033578 WO2016200587A1 (en) 2015-06-07 2016-05-20 Devices and methods for capturing and interacting with enhanced digital images

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018243773A Division JP6818735B2 (ja) 2015-06-07 2018-12-26 拡張デジタル画像のキャプチャ及び拡張デジタル画像との双方向作用のためのデバイス及び方法

Publications (2)

Publication Number Publication Date
JP2018515860A JP2018515860A (ja) 2018-06-14
JP6462160B2 true JP6462160B2 (ja) 2019-01-30

Family

ID=56137516

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2017561375A Active JP6462160B2 (ja) 2015-06-07 2016-05-20 拡張デジタル画像のキャプチャ及び拡張デジタル画像との双方向作用のためのデバイス及び方法
JP2018243773A Active JP6818735B2 (ja) 2015-06-07 2018-12-26 拡張デジタル画像のキャプチャ及び拡張デジタル画像との双方向作用のためのデバイス及び方法
JP2020185336A Active JP7034233B2 (ja) 2015-06-07 2020-11-05 拡張デジタル画像のキャプチャ及び拡張デジタル画像との双方向作用のためのデバイス及び方法
JP2022031194A Active JP7427040B2 (ja) 2015-06-07 2022-03-01 拡張デジタル画像のキャプチャ及び拡張デジタル画像との双方向作用のためのデバイス及び方法
JP2024008176A Pending JP2024054150A (ja) 2015-06-07 2024-01-23 拡張デジタル画像のキャプチャ及び拡張デジタル画像との双方向作用のためのデバイス及び方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2018243773A Active JP6818735B2 (ja) 2015-06-07 2018-12-26 拡張デジタル画像のキャプチャ及び拡張デジタル画像との双方向作用のためのデバイス及び方法
JP2020185336A Active JP7034233B2 (ja) 2015-06-07 2020-11-05 拡張デジタル画像のキャプチャ及び拡張デジタル画像との双方向作用のためのデバイス及び方法
JP2022031194A Active JP7427040B2 (ja) 2015-06-07 2022-03-01 拡張デジタル画像のキャプチャ及び拡張デジタル画像との双方向作用のためのデバイス及び方法
JP2024008176A Pending JP2024054150A (ja) 2015-06-07 2024-01-23 拡張デジタル画像のキャプチャ及び拡張デジタル画像との双方向作用のためのデバイス及び方法

Country Status (10)

Country Link
US (7) US9860451B2 (ja)
EP (2) EP3591953A1 (ja)
JP (5) JP6462160B2 (ja)
KR (9) KR102397968B1 (ja)
CN (4) CN111475084B (ja)
AU (7) AU2016100647B4 (ja)
DE (1) DE202016002529U1 (ja)
DK (2) DK201500585A1 (ja)
NL (3) NL2016801B1 (ja)
WO (1) WO2016200587A1 (ja)

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
CN104487928B (zh) 2012-05-09 2018-07-06 苹果公司 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
CN109062488B (zh) 2012-05-09 2022-05-27 苹果公司 用于选择用户界面对象的设备、方法和图形用户界面
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
DE202013012233U1 (de) 2012-05-09 2016-01-18 Apple Inc. Vorrichtung und grafische Benutzerschnittstelle zum Anzeigen zusätzlicher Informationen in Antwort auf einen Benutzerkontakt
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
CN108287651B (zh) 2012-05-09 2021-04-13 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
EP3264252B1 (en) 2012-05-09 2019-11-27 Apple Inc. Device, method, and graphical user interface for performing an operation in accordance with a selected mode of operation
JP6138274B2 (ja) 2012-12-29 2017-05-31 アップル インコーポレイテッド ユーザインタフェース階層をナビゲートするためのデバイス、方法、及びグラフィカルユーザインタフェース
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
KR101958582B1 (ko) 2012-12-29 2019-07-04 애플 인크. 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
KR20170081744A (ko) 2012-12-29 2017-07-12 애플 인크. 다중 접촉 제스처에 대한 촉각적 출력의 발생을 보류하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
US10079970B2 (en) * 2013-07-16 2018-09-18 Texas Instruments Incorporated Controlling image focus in real-time using gestures and depth sensor data
US9082018B1 (en) 2014-09-30 2015-07-14 Google Inc. Method and system for retroactively changing a display characteristic of event indicators on an event timeline
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
USD782495S1 (en) * 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
USD789955S1 (en) * 2014-11-04 2017-06-20 Teenage Engineering Ab Display screen or portion thereof with graphical user interface
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
US10831991B1 (en) * 2015-06-02 2020-11-10 United Service Automobile Association (USAA) Systems and methods for testing content developed for access via a network
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US11182068B2 (en) * 2015-10-27 2021-11-23 Verizon Patent And Licensing Inc. Method and system for interacting with a touch screen
KR101832966B1 (ko) * 2015-11-10 2018-02-28 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP6590666B2 (ja) * 2015-11-30 2019-10-16 キヤノン株式会社 電子機器およびその制御方法
JP6562832B2 (ja) * 2015-12-16 2019-08-21 キヤノン株式会社 電子機器およびその制御方法
USD802015S1 (en) * 2016-04-28 2017-11-07 Rubicon Global Holdings, Llc Portion of a display screen with icon
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10757377B2 (en) 2016-06-01 2020-08-25 Pixart Imaging Inc. Surveillance system and operation method thereof
TW201743241A (zh) * 2016-06-01 2017-12-16 原相科技股份有限公司 可攜式電子裝置及其運作方法
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
CN107786721A (zh) * 2016-08-26 2018-03-09 华为终端(东莞)有限公司 终端的控制方法、终端、智能穿戴设备和系统
US11002520B2 (en) 2016-09-02 2021-05-11 Titan International Technologies, Ltd. Automated detonation of fireworks
US11709037B2 (en) 2016-09-02 2023-07-25 Pyromart Inc. Automated detonation of fireworks
CN109413257B (zh) * 2016-12-20 2021-02-19 国基电子(上海)有限公司 电子装置及其数据分享方法
DK179932B1 (en) * 2017-05-16 2019-10-11 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR NAVIGATING, DISPLAYING, AND EDITING MEDIA ITEMS WITH MULTIPLE DISPLAY MODES
CN110618756A (zh) * 2017-05-16 2019-12-27 苹果公司 用于导航、显示和编辑具有多个显示模式的媒体项的设备、方法和图形用户界面
US10599950B2 (en) 2017-05-30 2020-03-24 Google Llc Systems and methods for person recognition data management
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
KR20180131908A (ko) * 2017-06-01 2018-12-11 엘지전자 주식회사 이동 단말기 및 그것의 동작방법
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
KR102444286B1 (ko) * 2017-06-19 2022-09-16 삼성전자주식회사 지압 인식 장치 및 이를 포함하는 전자 기기
USD839302S1 (en) * 2017-08-28 2019-01-29 Adp, Llc Display screen with animated graphical user interface
USD856461S1 (en) 2017-08-30 2019-08-13 Titan International Technologies, Ltd. Fireworks detonator
USD841678S1 (en) * 2017-08-30 2019-02-26 Titan International Technologies, Ltd. Display screen or portion thereof with transitional graphical user interface for detonation of fireworks
CN107592450B (zh) * 2017-08-30 2021-07-20 珠海豹趣科技有限公司 一种媒体数据处理方法及装置
US10805521B2 (en) 2017-09-05 2020-10-13 Facebook, Inc. Modifying capture of video data by an image capture device based on video data previously captured by the image capture device
US10666857B2 (en) 2017-09-05 2020-05-26 Facebook, Inc. Modifying capture of video data by an image capture device based on video data previously captured by the image capture device
KR20200039814A (ko) * 2017-09-05 2020-04-16 페이스북, 인크. 영상 캡쳐 장치에 의해 이전에 캡쳐된 비디오 데이터에 기초하여 영상 캡쳐 장치에 의한 비디오 데이터의 캡쳐를 수정
US10868955B2 (en) 2017-09-05 2020-12-15 Facebook, Inc. Modifying capture of video data by an image capture device based on video data previously captured by the image capture device
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
CN108198553B (zh) * 2018-01-23 2021-08-06 北京百度网讯科技有限公司 语音交互方法、装置、设备和计算机可读存储介质
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10813169B2 (en) 2018-03-22 2020-10-20 GoTenna, Inc. Mesh network deployment kit
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
TWI669636B (zh) * 2018-06-07 2019-08-21 宏碁股份有限公司 可應用於互動控制之電子裝置
USD956789S1 (en) 2018-08-07 2022-07-05 Aristocrat Technologies Australia Pty Limited Display screen or portion thereof with transitional graphical user interface
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
USD876477S1 (en) 2018-09-11 2020-02-25 Aristocrat Technologies Australia Pty Limited Display screen or portion thereof with transitional graphical user interface
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
EP3671483B1 (en) * 2018-12-19 2024-01-24 Audi Ag A method and a computer program for receiving, managing and outputting a plurality of user-related data files of different data types on a user-interface of a device and a device for storage and operation of the computer program
JP7172796B2 (ja) * 2019-03-28 2022-11-16 コニカミノルタ株式会社 表示システム、表示制御装置及び表示制御方法
US20200310601A1 (en) * 2019-03-29 2020-10-01 Snap Inc. Dynamic media selection menu
KR102656963B1 (ko) 2019-04-03 2024-04-16 삼성전자 주식회사 전자 장치 및 전자 장치의 제어 방법
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11144780B2 (en) * 2019-07-30 2021-10-12 Snap-On Incorporated Adaptive image processing
CN112449101A (zh) * 2019-09-05 2021-03-05 华为技术有限公司 一种拍摄方法及电子设备
CN110891144B (zh) * 2019-11-28 2021-11-19 维沃移动通信有限公司 一种图像显示方法及电子设备
US11893795B2 (en) 2019-12-09 2024-02-06 Google Llc Interacting with visitors of a connected home environment
KR20210098292A (ko) 2020-01-31 2021-08-10 삼성전자주식회사 카메라를 포함하는 전자 장치 및 그 동작 방법
CN111259183B (zh) * 2020-02-21 2023-08-01 北京百度网讯科技有限公司 图像识图方法、装置、电子设备和介质
US10715412B1 (en) * 2020-03-05 2020-07-14 Gigantic Ltd. Systems and methods for monitoring of overall latency
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11671559B2 (en) * 2020-09-30 2023-06-06 Snap Inc. Real time video editing
JP1724470S (ja) * 2020-10-07 2022-09-12 コミュニケーション機能付き電子計算機
CN112218136B (zh) * 2020-10-10 2021-08-10 腾讯科技(深圳)有限公司 视频处理方法、装置、计算机设备及存储介质
CN112153622B (zh) * 2020-10-15 2023-02-03 华大恒芯科技有限公司 共享电动车安全头盔nfc管理方法与系统
CN114726996B (zh) * 2021-01-04 2024-03-15 北京外号信息技术有限公司 用于建立空间位置与成像位置之间的映射的方法和系统
CN113126737B (zh) * 2021-04-19 2022-06-07 无锡宇宁智能科技有限公司 屏幕的唤醒方法、装置、终端设备及计算机可读存储介质
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US20220382440A1 (en) * 2021-06-01 2022-12-01 Apple Inc. User interfaces for managing media styles
US11671387B2 (en) 2021-06-06 2023-06-06 Apple Inc. User interfaces for messaging conversations
CN113313791B (zh) * 2021-07-30 2021-10-01 深圳市知小兵科技有限公司 互联网游戏的图像处理方法及相关设备
US11910075B2 (en) * 2021-11-12 2024-02-20 Canon Kabushiki Kaisha Imaging apparatus
CN114138121B (zh) * 2022-02-07 2022-04-22 北京深光科技有限公司 用户手势识别方法、装置、系统、存储介质及计算设备
CN115148165B (zh) * 2022-04-18 2023-06-27 深圳市华星光电半导体显示技术有限公司 显示画面的调整方法、装置和显示装置和存储介质
WO2024085487A1 (ko) * 2022-10-21 2024-04-25 삼성전자주식회사 카메라의 설정을 변경하기 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체

Family Cites Families (1611)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58182746A (ja) 1982-04-20 1983-10-25 Fujitsu Ltd タツチ式入力装置
JPS6074003A (ja) 1983-09-30 1985-04-26 Ryozo Setoguchi 形状創成装置
US4903201A (en) 1983-11-03 1990-02-20 World Energy Exchange Corporation Automated futures trading exchange
US5270922A (en) 1984-06-29 1993-12-14 Merrill Lynch & Company, Inc. System for distributing, processing and displaying financial information
US4674044A (en) 1985-01-30 1987-06-16 Merrill Lynch, Pierce, Fenner & Smith, Inc. Automated securities trading system
US4750135A (en) 1986-05-01 1988-06-07 Reuters Limited Method for dynamically creating a receiver definable local trading instrument displayable record from a remotely transmitted trading instrument common data stream
US5038284A (en) 1988-02-17 1991-08-06 Kramer Robert M Method and apparatus relating to conducting trading transactions with portable trading stations
JP2870911B2 (ja) 1988-05-27 1999-03-17 コダック・リミテッド データ処理システムにおけるディスプレー用の文書フォルダー・アイコン
CA1328511C (en) 1988-10-11 1994-04-12 Jean-Marie Hullot System and method for managing graphic images
EP0388162A3 (en) 1989-03-14 1993-03-03 Chicago Board Of Trade Apparatus for market trading
KR920700434A (ko) 1989-03-14 1992-02-19 원본미기재 경매 시장거래를 위한 방법과 장치
JPH03505938A (ja) 1989-03-28 1991-12-19 シカゴ ボード オブ トレード 模擬生き市況取引システム
US5077665A (en) 1989-05-25 1991-12-31 Reuters Limited Distributed matching system
US5136501A (en) 1989-05-26 1992-08-04 Reuters Limited Anonymous matching system
US5101353A (en) 1989-05-31 1992-03-31 Lattice Investments, Inc. Automated system for providing liquidity to securities markets
US5297031A (en) 1990-03-06 1994-03-22 Chicago Board Of Trade Method and apparatus for order management by market brokers
GB9027249D0 (en) 1990-12-17 1991-02-06 Reuters Ltd Offer matching system
US5297032A (en) 1991-02-01 1994-03-22 Merrill Lynch, Pierce, Fenner & Smith Incorporated Securities trading workstation
US5184120A (en) 1991-04-04 1993-02-02 Motorola, Inc. Menu selection using adaptive force sensing resistor
US5664210A (en) 1991-08-19 1997-09-02 International Business Machines Corporation Method and system of providing multiple selections in text on a computer display
US6347997B1 (en) 1997-10-01 2002-02-19 Brad A. Armstrong Analog controls housed with electronic displays
US6208271B1 (en) 1998-09-04 2001-03-27 Brad A. Armstrong Remote controller with analog button(s)
US5717725A (en) 1992-03-12 1998-02-10 Ntp Incorporated System for wireless transmission and receiving of information through a computer bus interface and method of operation
US5544262A (en) 1992-04-07 1996-08-06 Apple Computer, Inc. Method and apparatus for processing graphically input equations
EP0574213B1 (en) 1992-06-08 1999-03-24 Synaptics, Inc. Object position detector
JPH0651738A (ja) 1992-07-27 1994-02-25 Canon Inc コンピュータシステムの情報表示装置
US5589855A (en) 1992-08-14 1996-12-31 Transaction Technology, Inc. Visually impaired customer activated terminal method and system
JP2994888B2 (ja) 1992-11-25 1999-12-27 シャープ株式会社 入力処理装置および入力処理方法
US5428730A (en) 1992-12-15 1995-06-27 International Business Machines Corporation Multimedia system having software mechanism providing standardized interfaces and controls for the operation of multimedia devices
US5455965A (en) 1993-02-26 1995-10-03 Motorola, Inc. Method for determining and utilizing simulcast transmit times
US5555354A (en) 1993-03-23 1996-09-10 Silicon Graphics Inc. Method and apparatus for navigation within three-dimensional information landscape
JPH0798769A (ja) 1993-06-18 1995-04-11 Hitachi Ltd 情報処理装置及びその画面編集方法
US5463722A (en) 1993-07-23 1995-10-31 Apple Computer, Inc. Automatic alignment of objects in two-dimensional and three-dimensional display space using an alignment field gradient
BE1007462A3 (nl) 1993-08-26 1995-07-04 Philips Electronics Nv Dataverwerkings inrichting met aanraakscherm en krachtopnemer.
JPH07151512A (ja) 1993-10-05 1995-06-16 Mitsutoyo Corp 三次元測定機の操作装置
JPH07104915A (ja) 1993-10-06 1995-04-21 Toshiba Corp グラフィックユーザインタフェース装置
EP0712513B1 (en) 1993-10-29 1997-06-04 Taligent, Inc. Graphic editor framework system
EP0661620B1 (en) 1993-12-30 2001-03-21 Xerox Corporation Apparatus and method for executing multiple concatenated command gestures in a gesture based input system
CA2119921C (en) 1994-03-23 2009-09-29 Sydney H. Belzberg Computerized stock exchange trading system
WO1995027945A1 (en) 1994-04-06 1995-10-19 Morgan Stanley Group Inc. Data processing system and method for financial debt instruments
US5526478A (en) 1994-06-30 1996-06-11 Silicon Graphics, Inc. Three dimensional model with three dimensional pointers and multimedia functions linked to the pointers
GB9416673D0 (en) 1994-08-17 1994-10-12 Reuters Ltd Data exchange filtering system
US5559301A (en) 1994-09-15 1996-09-24 Korg, Inc. Touchscreen interface having pop-up variable adjustment displays for controllers and audio processing systems
US5774877A (en) 1994-09-20 1998-06-30 Papyrus Technology Corp. Two-way wireless system for financial industry transactions
US5797002A (en) 1994-09-20 1998-08-18 Papyrus Technology Corp. Two-way wireless system for financial industry transactions
WO1996009579A1 (en) 1994-09-22 1996-03-28 Izak Van Cruyningen Popup menus with directional gestures
US5689651A (en) 1994-10-13 1997-11-18 Lozman; Fane System for processing and displaying financial information
WO1996014908A1 (en) 1994-11-14 1996-05-23 Catapult Entertainment, Inc. Method and apparatus for synchronizing the execution of multiple video game systems in a networked environment
US5805144A (en) 1994-12-14 1998-09-08 Dell Usa, L.P. Mouse pointing device having integrated touchpad
JPH08227341A (ja) 1995-02-22 1996-09-03 Mitsubishi Electric Corp ユーザインターフェース
US5657246A (en) 1995-03-07 1997-08-12 Vtel Corporation Method and apparatus for a video conference user interface
US5845266A (en) 1995-12-12 1998-12-01 Optimark Technologies, Inc. Crossing network utilizing satisfaction density profile with price discovery features
IL117424A (en) 1995-04-27 1999-09-22 Optimark Tech Inc Crossing network utilizing satisfaction density profile
US6072488A (en) 1995-05-05 2000-06-06 Apple Computer, Inc. Systems and methods for replacing open windows in a graphical user interface
US5793360A (en) 1995-05-05 1998-08-11 Wacom Co., Ltd. Digitizer eraser system and method
US5717438A (en) 1995-08-25 1998-02-10 International Business Machines Corporation Multimedia document using time box diagrams
EP0847561B1 (en) 1995-08-28 2003-10-22 Ebs Dealing Resources, Inc. Anonymous trading system with improved quote input capabilities
US5844560A (en) 1995-09-29 1998-12-01 Intel Corporation Graphical user interface control element
JP3417741B2 (ja) 1995-10-06 2003-06-16 富士通株式会社 取引制御システム
US5910882A (en) 1995-11-14 1999-06-08 Garmin Corporation Portable electronic device for use in combination portable and fixed mount applications
US5825308A (en) 1996-11-26 1998-10-20 Immersion Human Interface Corporation Force feedback interface having isotonic and isometric functionality
US5793377A (en) 1995-11-22 1998-08-11 Autodesk, Inc. Method and apparatus for polar coordinate snap in a computer implemented drawing tool
US5801692A (en) 1995-11-30 1998-09-01 Microsoft Corporation Audio-visual user interface controls
US5719796A (en) 1995-12-04 1998-02-17 Advanced Micro Devices, Inc. System for monitoring and analyzing manufacturing processes using statistical simulation with single step feedback
US6750877B2 (en) 1995-12-13 2004-06-15 Immersion Corporation Controlling haptic feedback for enhancing navigation in a graphical environment
US6300936B1 (en) 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US5695400A (en) 1996-01-30 1997-12-09 Boxer Jam Productions Method of managing multi-player game playing over a network
US5946647A (en) 1996-02-01 1999-08-31 Apple Computer, Inc. System and method for performing an action on a structure in computer-generated data
US5820463A (en) 1996-02-06 1998-10-13 Bell Atlantic Network Services, Inc. Method and apparatus for multi-player gaming over a network
JPH09269883A (ja) 1996-03-29 1997-10-14 Seiko Epson Corp 情報処理装置および情報処理方法
US6223188B1 (en) 1996-04-10 2001-04-24 Sun Microsystems, Inc. Presentation of link information as an aid to hypermedia navigation
US5880733A (en) 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
US5924083A (en) 1996-05-29 1999-07-13 Geneva Branch Of Reuters Transaction Services Limited Distributed matching system for displaying a book of credit filtered bids and offers
US5819293A (en) 1996-06-06 1998-10-06 Microsoft Corporation Automatic Spreadsheet forms
GB2314245A (en) 1996-06-10 1997-12-17 Ibm Graphical user interface
JP4484255B2 (ja) 1996-06-11 2010-06-16 株式会社日立製作所 タッチパネルを備えた情報処理装置および情報処理方法
US6014643A (en) 1996-06-28 2000-01-11 Minton; Vernon F. Interactive securities trading system
US8674932B2 (en) 1996-07-05 2014-03-18 Anascape, Ltd. Image controller
US6208329B1 (en) 1996-08-13 2001-03-27 Lsi Logic Corporation Supplemental mouse button emulation system, method and apparatus for a coordinate based data input device
US6247000B1 (en) 1996-08-21 2001-06-12 Crossmar, Inc. Method and system for confirmation and settlement for financial transactions matching
JP2000517445A (ja) 1996-08-28 2000-12-26 ヴィーア・インコーポレイテッド タッチ画面装置及び方法
JPH1089976A (ja) 1996-09-13 1998-04-10 Hitachi Ltd 情報表示装置およびナビゲーションシステム
US5870683A (en) 1996-09-18 1999-02-09 Nokia Mobile Phones Limited Mobile station having method and apparatus for displaying user-selectable animation sequence
US6195647B1 (en) 1996-09-26 2001-02-27 The Nasdaq Stock Market, Inc. On-line transaction processing system for security trading
US5963923A (en) 1996-11-12 1999-10-05 Garber; Howard B. System and method for trading having a principal market maker
US5973670A (en) 1996-12-31 1999-10-26 International Business Machines Corporation Tactile feedback controller for computer cursor control device
EP0859307A1 (en) 1997-02-18 1998-08-19 International Business Machines Corporation Control mechanism for graphical user interface
US6031989A (en) 1997-02-27 2000-02-29 Microsoft Corporation Method of formatting and displaying nested documents
US6954899B1 (en) 1997-04-14 2005-10-11 Novint Technologies, Inc. Human-computer interface including haptically controlled interactions
US7091948B2 (en) 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
US6073036A (en) 1997-04-28 2000-06-06 Nokia Mobile Phones Limited Mobile station with touch input having automatic symbol magnification function
AU7220998A (en) 1997-04-30 1998-11-24 Trustmarque International Limited Network computer trading system
US6806893B1 (en) 1997-08-04 2004-10-19 Parasoft Corporation System and method for displaying simulated three dimensional buttons in a graphical user interface
US6266684B1 (en) 1997-08-06 2001-07-24 Adobe Systems Incorporated Creating and saving multi-frame web pages
US6411998B1 (en) 1997-09-08 2002-06-25 International Business Machines Corporation World wide web internet delay monitor
US6002397A (en) 1997-09-30 1999-12-14 International Business Machines Corporation Window hatches in graphical user interface
US6532000B2 (en) 1997-10-01 2003-03-11 Brad A. Armstrong Analog controls housed with electronic displays for global positioning systems
US6456778B2 (en) 1997-10-01 2002-09-24 Brad A. Armstrong Analog controls housed with electronic displays for video recorders and cameras
US20020138390A1 (en) 1997-10-14 2002-09-26 R. Raymond May Systems, methods and computer program products for subject-based addressing in an electronic trading system
US6131087A (en) 1997-11-05 2000-10-10 The Planning Solutions Group, Inc. Method for automatically identifying, matching, and near-matching buyers and sellers in electronic market transactions
US6448977B1 (en) 1997-11-14 2002-09-10 Immersion Corporation Textures and other spatial sensations for a relative haptic interface device
US8020095B2 (en) 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
US6088019A (en) 1998-06-23 2000-07-11 Immersion Corporation Low cost force feedback device with actuator for non-primary axis
CN1284187A (zh) 1997-12-08 2001-02-14 新日本制铁株式会社 商品交易装置、商品交易系统、商品交易方法和存储媒体
US6035287A (en) 1997-12-17 2000-03-07 Omega Consulting, Inc. Method and apparatus for bundled asset trading
US6088027A (en) 1998-01-08 2000-07-11 Macromedia, Inc. Method and apparatus for screen object manipulation
JPH11203044A (ja) 1998-01-16 1999-07-30 Sony Corp 情報処理システム
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US20060033724A1 (en) 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7760187B2 (en) 2004-07-30 2010-07-20 Apple Inc. Visual expander
EP1717684A3 (en) 1998-01-26 2008-01-23 Fingerworks, Inc. Method and apparatus for integrating manual input
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US6219034B1 (en) 1998-02-23 2001-04-17 Kristofer E. Elbing Tactile computer interface
FI107859B (fi) 1998-03-23 2001-10-15 Nokia Networks Oy Tilauspalvelut matkaviestinjärjestelmässä
US6211880B1 (en) 1998-04-13 2001-04-03 Albert Joseph Impink, Jr. Display apparatus
US6180894B1 (en) 1998-05-07 2001-01-30 Aiptek International Inc. Dual mode digitizer tablet system
US6208340B1 (en) 1998-05-26 2001-03-27 International Business Machines Corporation Graphical user interface including a drop-down widget that permits a plurality of choices to be selected in response to a single selection of the drop-down widget
JPH11355617A (ja) 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 画像表示器付きカメラ
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6707443B2 (en) 1998-06-23 2004-03-16 Immersion Corporation Haptic trackball device
US6563487B2 (en) 1998-06-23 2003-05-13 Immersion Corporation Haptic feedback for directional control pads
US6229542B1 (en) 1998-07-10 2001-05-08 Intel Corporation Method and apparatus for managing windows in three dimensions in a two dimensional windowing system
US6243080B1 (en) 1998-07-14 2001-06-05 Ericsson Inc. Touch-sensitive panel with selector
US6758749B2 (en) 1998-07-31 2004-07-06 Radical Gaming Concepts Ltd. Enhanced payout feature for gaming machines
WO2000011588A1 (en) 1998-08-21 2000-03-02 Marketxt, Inc. Anti-manipulation method and system for a real-time computerized stock trading system
US6326956B1 (en) 1998-08-24 2001-12-04 Intertactile Technologies Corporation Circuit control devices utilizing electronic display screen light
US6111575A (en) 1998-09-24 2000-08-29 International Business Machines Corporation Graphical undo/redo manager and method
DE19849460B4 (de) 1998-10-28 2009-11-05 Völckers, Oliver Numerische digitale Telefontastatur für ein Telefongerät mit einem Display und Verfahren zur schnellen Textauswahl aus einer Liste mittels der numerischen Telefontastatur
US6405180B2 (en) 1998-11-05 2002-06-11 International Securities Exchange, Llc Automated exchange for matching bids between a party and a counterparty based on a relationship between the counterparty and the exchange
US6377940B2 (en) 1998-11-05 2002-04-23 International Securities Exchange, Llc Method and apparatus for setting a price for a security on an automated exchange based on a comparison of prices on other exchanges
JP2000148348A (ja) 1998-11-13 2000-05-26 Internatl Business Mach Corp <Ibm> 起動中のアプリケーション・プログラムを容易に識別し、かつ終了させることができる方法およびシステム
DE19983761T1 (de) 1998-11-24 2002-01-10 Niksun Inc Vorrichtung und Verfahren zum Sammeln und Analysieren von Kommunikationsdaten
US6252594B1 (en) 1998-12-11 2001-06-26 International Business Machines Corporation Method and system for aiding a user in scrolling through a document using animation, voice cues and a dockable scroll bar
US6489975B1 (en) 1998-12-14 2002-12-03 International Business Machines Corporation System and method for improved navigation between open windows in an application program using window tabs
US6292233B1 (en) 1998-12-31 2001-09-18 Stmicroelectronics S.R.L. Device controller with low power standby mode
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US7506252B2 (en) 1999-01-26 2009-03-17 Blumberg Marvin R Speed typing apparatus for entering letters of alphabet with at least thirteen-letter input elements
US6396962B1 (en) 1999-01-29 2002-05-28 Sony Corporation System and method for providing zooming video
US6512761B1 (en) 1999-02-02 2003-01-28 3Com Corporation System for adjusting billing for real-time media transmissions based on delay
US6272474B1 (en) 1999-02-08 2001-08-07 Crisostomo B. Garcia Method for monitoring and trading stocks via the internet displaying bid/ask trade bars
US6551357B1 (en) 1999-02-12 2003-04-22 International Business Machines Corporation Method, system, and program for storing and retrieving markings for display to an electronic media file
EP1028583A1 (en) 1999-02-12 2000-08-16 Hewlett-Packard Company Digital camera with sound recording
US20020026321A1 (en) 1999-02-26 2002-02-28 Sadeg M. Faris Internet-based system and method for fairly and securely enabling timed-constrained competition using globally time-sychronized client subsystems and information servers having microsecond client-event resolution
JP2003526833A (ja) 1999-02-26 2003-09-09 レヴェオ・インコーポレーテッド グローバル時間同期システム、装置および方法
US6408282B1 (en) 1999-03-01 2002-06-18 Wit Capital Corp. System and method for conducting securities transactions over a computer network
WO2000052619A1 (en) 1999-03-01 2000-09-08 Wit Capital Corporation A system and method for conducting securities transactions over a computer network
US7212999B2 (en) 1999-04-09 2007-05-01 Trading Technologies International, Inc. User interface for an electronic trading system
US6278982B1 (en) 1999-04-21 2001-08-21 Lava Trading Inc. Securities trading system for consolidation of trading on multiple ECNS and electronic exchanges
AU4369100A (en) 1999-04-22 2000-11-10 Trading Technologies, Inc. Electronic securities trading system
JP2001034775A (ja) 1999-05-17 2001-02-09 Fuji Photo Film Co Ltd 履歴画像表示方法
ATE443946T1 (de) 1999-05-27 2009-10-15 Tegic Communications Inc Tastatursystem mit automatischer korrektur
US6227743B1 (en) 1999-07-01 2001-05-08 Karl A. Robb Pen cap stylus for use with touch screens
US6904405B2 (en) 1999-07-17 2005-06-07 Edwin A. Suominen Message recognition using shared language model
US6396523B1 (en) 1999-07-29 2002-05-28 Interlink Electronics, Inc. Home entertainment device remote control
US6489978B1 (en) 1999-08-06 2002-12-03 International Business Machines Corporation Extending the opening time of state menu items for conformations of multiple changes
US6459424B1 (en) 1999-08-10 2002-10-01 Hewlett-Packard Company Touch-sensitive input screen having regional sensitivity and resolution properties
WO2001016852A2 (en) 1999-08-30 2001-03-08 Epit, Inc. User interface for semi-fungible trading
US7685048B1 (en) 1999-09-01 2010-03-23 Bloomberg L.P. Electronic trading system for forwards spread trades
JP2001078137A (ja) 1999-09-01 2001-03-23 Olympus Optical Co Ltd 電子カメラ
US6459442B1 (en) 1999-09-10 2002-10-01 Xerox Corporation System for applying application behaviors to freeform data
US8239303B2 (en) 1999-09-23 2012-08-07 The Nasdaq Omx Group, Inc. Match-off of order flow in electronic market system
US8311926B1 (en) 1999-09-23 2012-11-13 The Nasdaq Omx Group, Inc. Montage for automated market system
US7181424B1 (en) 1999-09-23 2007-02-20 The Nasdaq Stock Market, Inc. Montage for automated market system
US6377636B1 (en) 1999-11-02 2002-04-23 Iospan Wirless, Inc. Method and wireless communications system using coordinated transmission and training for interference mitigation
US8482535B2 (en) 1999-11-08 2013-07-09 Apple Inc. Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
WO2001040894A2 (en) 1999-12-03 2001-06-07 Farms.Com, Ltd Computerized system and method for conducting an online virtual auction
US20020055899A1 (en) 1999-12-06 2002-05-09 Williams Joseph C. Display system and method for displaying and organizing financial information
US7434177B1 (en) 1999-12-20 2008-10-07 Apple Inc. User interface for providing consolidation and access
US7362331B2 (en) 2000-01-05 2008-04-22 Apple Inc. Time-based, non-constant translation of user interface objects between states
US6664991B1 (en) 2000-01-06 2003-12-16 Microsoft Corporation Method and apparatus for providing context menus on a pen-based device
JP2001202192A (ja) 2000-01-18 2001-07-27 Sony Corp 情報処理装置及びその方法並びにプログラム格納媒体
US6661438B1 (en) 2000-01-18 2003-12-09 Seiko Epson Corporation Display apparatus and portable information processing apparatus
US6512530B1 (en) 2000-01-19 2003-01-28 Xerox Corporation Systems and methods for mimicking an image forming or capture device control panel control element
US6822635B2 (en) 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US7138983B2 (en) 2000-01-31 2006-11-21 Canon Kabushiki Kaisha Method and apparatus for detecting and interpreting path of designated position
JP3845738B2 (ja) 2000-02-09 2006-11-15 カシオ計算機株式会社 オブジェクト移動装置及び記録媒体
AU2001238274A1 (en) 2000-02-14 2001-08-27 Geophoenix, Inc. Methods and apparatus for viewing information in virtual space
GB2366630A (en) 2000-02-17 2002-03-13 Gold On Line Trading Ltd Internet Trading System
US6772132B1 (en) 2000-03-02 2004-08-03 Trading Technologies International, Inc. Click based trading with intuitive grid display of market depth
JP2001265481A (ja) 2000-03-21 2001-09-28 Nec Corp ページ情報表示方法及び装置並びにページ情報表示用プログラムを記憶した記憶媒体
JP2001306207A (ja) 2000-04-27 2001-11-02 Just Syst Corp ドラッグアンドドロップ処理を支援するプログラムを記録した記録媒体
US20020035534A1 (en) 2000-05-04 2002-03-21 Buist Walter D. Method and apparatus for auctioning securities
US7246092B1 (en) 2000-05-12 2007-07-17 The Nasdaq Stock Market, Inc. Montage for an electronic market
US6831666B1 (en) 2000-06-14 2004-12-14 Canon Kabushiki Kaisha Application selection window in a windows operation system
JP2002041023A (ja) 2000-07-06 2002-02-08 Internatl Business Mach Corp <Ibm> コンピュータシステム、表示制御装置、ディスプレイ装置、表示制御方法、記憶媒体及びプログラム伝送装置
KR20020007860A (ko) 2000-07-19 2002-01-29 백승헌 인터넷상의 시간보정 방법 및 이를 이용한 상거래시점관리 방법
US6583798B1 (en) 2000-07-21 2003-06-24 Microsoft Corporation On-object user interface
JP4501243B2 (ja) 2000-07-24 2010-07-14 ソニー株式会社 テレビジョン受像機およびプログラム実行方法
US20020015064A1 (en) 2000-08-07 2002-02-07 Robotham John S. Gesture-based user interface to multi-level and multi-modal sets of bit-maps
JP3949912B2 (ja) 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
US6906697B2 (en) 2000-08-11 2005-06-14 Immersion Corporation Haptic sensations for tactile feedback interface devices
US8924277B2 (en) 2000-08-17 2014-12-30 Nyse Group, Inc. Method and system for automatic execution of a securities transaction
JP2004507939A (ja) * 2000-08-21 2004-03-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ・ストリームに埋め込まれたプロセス及びデータに応じてビデオ・コンテンツを能動的に修正する方法及びシステム
US6734882B1 (en) 2000-09-29 2004-05-11 Apple Computer, Inc. Combined menu-list control element in a graphical user interface
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US6891551B2 (en) 2000-11-10 2005-05-10 Microsoft Corporation Selection handles in editing electronic documents
US6577296B2 (en) 2000-11-14 2003-06-10 Vega Vista, Inc. Fixed cursor
US6943778B1 (en) 2000-11-20 2005-09-13 Nokia Corporation Touch screen input technique
US6590568B1 (en) 2000-11-20 2003-07-08 Nokia Corporation Touch screen drag and drop input technique
DE10059906A1 (de) 2000-12-01 2002-06-06 Bs Biometric Systems Gmbh Druckempfindliche Fläche eines Bildschirms oder Displays
US20020077117A1 (en) 2000-12-15 2002-06-20 Jocelyn Cloutier Synchronous transmission of data with network remote control
JP2002182855A (ja) 2000-12-19 2002-06-28 Totoku Electric Co Ltd タッチパネル装置
GB2370739A (en) 2000-12-27 2002-07-03 Nokia Corp Flashlight cursor for set-top boxes
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US20050183017A1 (en) 2001-01-31 2005-08-18 Microsoft Corporation Seekbar in taskbar player visualization mode
US20020107748A1 (en) 2001-02-05 2002-08-08 International Business Machines Corporation Method and system for decentralized order matching among individual marketplaces
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US20020120837A1 (en) 2001-02-28 2002-08-29 Maxemchuk Nicholas Frank Distributed internet multicast system for the stock market
CA2641610C (en) 2001-03-09 2010-09-14 Research In Motion Limited Advanced voice and data operations in a mobile data communication device
JP2002268867A (ja) 2001-03-13 2002-09-20 Sony Corp 表示装置及び表示方法、プログラム記録媒体並びにプログラム
US20020178102A1 (en) 2001-03-15 2002-11-28 Larry Scheinberg Margin release system for an electronic-based market
JP2002286489A (ja) 2001-03-28 2002-10-03 Clarion Co Ltd カーナビゲーション装置及び方法並びにカーナビゲーション用ソフトウェア
US7012595B2 (en) 2001-03-30 2006-03-14 Koninklijke Philips Electronics N.V. Handheld electronic device with touch pad
TW502180B (en) 2001-03-30 2002-09-11 Ulead Systems Inc Previewing method of editing multimedia effect
US20020149630A1 (en) 2001-04-16 2002-10-17 Parascript Llc Providing hand-written and hand-drawn electronic mail service
US7134093B2 (en) 2001-04-18 2006-11-07 International Business Machines Corporation Graphical user interface for direct control of display of data
US20020161693A1 (en) 2001-04-30 2002-10-31 Greenwald Jamie A. Automated over-the-counter derivatives trading system
US8125492B1 (en) 2001-05-18 2012-02-28 Autodesk, Inc. Parameter wiring
TW521205B (en) 2001-06-05 2003-02-21 Compal Electronics Inc Touch screen capable of controlling amplification with pressure
US20020186257A1 (en) 2001-06-08 2002-12-12 Cadiz Jonathan J. System and process for providing dynamic communication access and information awareness in an interactive peripheral display
US7190379B2 (en) 2001-06-29 2007-03-13 Contex A/S Method for resizing and moving an object on a computer screen
US8001490B2 (en) 2001-07-10 2011-08-16 Nvidia International, Inc. System, method and computer program product for a content publisher for wireless devices
US20050134578A1 (en) 2001-07-13 2005-06-23 Universal Electronics Inc. System and methods for interacting with a control environment
JP2003084744A (ja) 2001-09-10 2003-03-19 Sharp Corp エミュレーション装置、エミュレーション方法及びその方法を実行するプログラム並びにそのプログラムを記録した記録媒体
US7103848B2 (en) 2001-09-13 2006-09-05 International Business Machines Corporation Handheld electronic book reader with annotation and usage tracking capabilities
US6965645B2 (en) 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
US20030206169A1 (en) 2001-09-26 2003-11-06 Michael Springer System, method and computer program product for automatically snapping lines to drawing elements
US7439975B2 (en) 2001-09-27 2008-10-21 International Business Machines Corporation Method and system for producing dynamically determined drop shadows in a three-dimensional graphical user interface
US6703550B2 (en) 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US8001189B2 (en) 2001-10-16 2011-08-16 Microsoft Corporation Routing of network messages
KR101289110B1 (ko) 2001-11-01 2013-08-07 임머숀 코퍼레이션 촉각을 제공하기 위한 방법 및 장치
JP2003157131A (ja) 2001-11-22 2003-05-30 Nippon Telegr & Teleph Corp <Ntt> 入力方法、表示方法、メディア情報合成表示方法、入力装置、メディア情報合成表示装置、入力プログラム、メディア情報合成表示プログラム、これらのプログラムを記録した記録媒体
JP2003162355A (ja) 2001-11-26 2003-06-06 Sony Corp タスクの表示切り替え方法及び携帯機器及び携帯通信機器
JP2003186597A (ja) 2001-12-13 2003-07-04 Samsung Yokohama Research Institute Co Ltd 携帯端末装置
US20030112269A1 (en) 2001-12-17 2003-06-19 International Business Machines Corporation Configurable graphical element for monitoring dynamic properties of a resource coupled to a computing environment
US7346855B2 (en) 2001-12-21 2008-03-18 Microsoft Corporation Method and system for switching between multiple computer applications
CN1356493A (zh) 2001-12-30 2002-07-03 王森 承压蒸汽锅炉的上锅筒
US7043701B2 (en) 2002-01-07 2006-05-09 Xerox Corporation Opacity desktop with depth perception
US20030184574A1 (en) 2002-02-12 2003-10-02 Phillips James V. Touch screen interface with haptic feedback device
US6888537B2 (en) 2002-02-13 2005-05-03 Siemens Technology-To-Business Center, Llc Configurable industrial input devices that use electrically conductive elastomer
CN100350351C (zh) 2002-03-08 2007-11-21 设计展示公司 电装置控制设备
US7114091B2 (en) 2002-03-18 2006-09-26 National Instruments Corporation Synchronization of distributed systems
TWI234115B (en) 2002-04-03 2005-06-11 Htc Corp Method and device of setting threshold pressure for touch panel
US20030189647A1 (en) * 2002-04-05 2003-10-09 Kang Beng Hong Alex Method of taking pictures
US7178049B2 (en) 2002-04-24 2007-02-13 Medius, Inc. Method for multi-tasking multiple Java virtual machines in a secure environment
JP2004062648A (ja) 2002-07-30 2004-02-26 Kyocera Corp 表示制御装置及びこれに用いられる表示制御プログラム
US20030222915A1 (en) 2002-05-30 2003-12-04 International Business Machines Corporation Data processor controlled display system with drag and drop movement of displayed items from source to destination screen positions and interactive modification of dragged items during the movement
US7801796B2 (en) 2002-06-05 2010-09-21 The Nasdaq Omx Group, Inc. Message prioritization process and method
US7259752B1 (en) 2002-06-28 2007-08-21 Microsoft Corporation Method and system for editing electronic ink
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
JP2004054861A (ja) 2002-07-16 2004-02-19 Sanee Denki Kk タッチ式マウス
US20040015662A1 (en) 2002-07-22 2004-01-22 Aron Cummings Memory card, memory card controller, and software therefor
US20040056849A1 (en) 2002-07-25 2004-03-25 Andrew Lohbihler Method and apparatus for powering, detecting and locating multiple touch input devices on a touch screen
US7549127B2 (en) 2002-08-01 2009-06-16 Realnetworks, Inc. Method and apparatus for resizing video content displayed within a graphical user interface
JP4115198B2 (ja) 2002-08-02 2008-07-09 株式会社日立製作所 タッチパネルを備えた表示装置
KR100486711B1 (ko) 2002-08-12 2005-05-03 삼성전기주식회사 개인용 정보 단말기의 페이지 넘김 장치 및 방법
JP4500485B2 (ja) 2002-08-28 2010-07-14 株式会社日立製作所 タッチパネルを備えた表示装置
US7739604B1 (en) 2002-09-25 2010-06-15 Apple Inc. Method and apparatus for managing windows
JP4234968B2 (ja) 2002-09-27 2009-03-04 富士フイルム株式会社 デジタルカメラ
US20040138849A1 (en) 2002-09-30 2004-07-15 Albrecht Schmidt Load sensing surface as pointing device
EP1406150A1 (en) 2002-10-01 2004-04-07 Sony Ericsson Mobile Communications AB Tactile feedback method and device and portable device incorporating same
US7752115B2 (en) 2002-10-02 2010-07-06 Trading Technologies International, Inc. Method and apparatus for a fair exchange
US7814439B2 (en) 2002-10-18 2010-10-12 Autodesk, Inc. Pan-zoom tool
JP4173718B2 (ja) 2002-10-31 2008-10-29 富士通株式会社 ウィンドウ切替装置及びウィンドウ切替プログラム
JP2004152217A (ja) 2002-11-01 2004-05-27 Canon Electronics Inc タッチパネル付き表示装置
US20040155752A1 (en) 2002-11-27 2004-08-12 Jory Radke Reading fingerprints
US20050114785A1 (en) 2003-01-07 2005-05-26 Microsoft Corporation Active content wizard execution with improved conspicuity
US20070128899A1 (en) 2003-01-12 2007-06-07 Yaron Mayer System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows
US7453439B1 (en) 2003-01-16 2008-11-18 Forward Input Inc. System and method for continuous stroke word-based text input
US7224362B2 (en) 2003-01-30 2007-05-29 Agilent Technologies, Inc. Systems and methods for providing visualization and network diagrams
US7685538B2 (en) 2003-01-31 2010-03-23 Wacom Co., Ltd. Method of triggering functions in a computer application using a digitizer having a stylus and a digitizer system
US7493573B2 (en) 2003-02-07 2009-02-17 Sun Microsystems, Inc. Scrolling vertical column mechanism for cellular telephone
JP2005317041A (ja) 2003-02-14 2005-11-10 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP4367897B2 (ja) * 2003-02-27 2009-11-18 キヤノン株式会社 画像表示制御装置及び方法
US7369102B2 (en) 2003-03-04 2008-05-06 Microsoft Corporation System and method for navigating a graphical user interface on a smaller display
US7185291B2 (en) 2003-03-04 2007-02-27 Institute For Information Industry Computer with a touch screen
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7380218B2 (en) 2003-03-27 2008-05-27 International Business Machines Corporation Method and apparatus for managing windows
US20040219968A1 (en) 2003-05-01 2004-11-04 Fiden Daniel P. Gaming machine with interactive pop-up windows
GB0312465D0 (en) 2003-05-30 2003-07-09 Therefore Ltd A data input method for a computing device
US7516404B1 (en) 2003-06-02 2009-04-07 Colby Steven M Text correction
US7159189B2 (en) 2003-06-13 2007-01-02 Alphabase Systems, Inc. Method and system for controlling cascaded windows on a GUI desktop on a computer
US7051282B2 (en) 2003-06-13 2006-05-23 Microsoft Corporation Multi-layer graphical user interface
EP1644816B1 (en) 2003-06-20 2016-09-14 Apple Inc. Computer interface having a virtual single-layer mode for viewing overlapping objects
US20040267823A1 (en) 2003-06-24 2004-12-30 Microsoft Corporation Reconcilable and undoable file system
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
JP2005031786A (ja) 2003-07-08 2005-02-03 Fujitsu Ten Ltd 文字入力装置
WO2005008444A2 (en) 2003-07-14 2005-01-27 Matt Pallakoff System and method for a portbale multimedia client
US7036088B2 (en) 2003-07-24 2006-04-25 Sap Ag Multi-modal method for application swapping
US7721228B2 (en) 2003-08-05 2010-05-18 Yahoo! Inc. Method and system of controlling a context menu
KR100580174B1 (ko) 2003-08-21 2006-05-16 삼성전자주식회사 회전 가능한 디스플레이 장치 및 화면 조정 방법
JP4003742B2 (ja) 2003-08-21 2007-11-07 カシオ計算機株式会社 電子カメラ
US9024884B2 (en) 2003-09-02 2015-05-05 Apple Inc. Touch-sensitive electronic apparatus for media applications, and methods therefor
JP2005092386A (ja) 2003-09-16 2005-04-07 Sony Corp 画像選択装置および画像選択方法
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7925298B2 (en) 2003-09-18 2011-04-12 Vulcan Portals Inc. User interface for a secondary display module of a mobile electronic device
US7500127B2 (en) 2003-09-18 2009-03-03 Vulcan Portals Inc. Method and apparatus for operating an electronic device in a low power mode
US7702733B2 (en) 2003-09-18 2010-04-20 Vulcan Portals Inc. Low power email functionality for an electronic device
US7426647B2 (en) 2003-09-18 2008-09-16 Vulcan Portals Inc. Low power media player for an electronic device
KR100597588B1 (ko) 2003-10-02 2006-07-06 한국전자통신연구원 우선순위기반 능동 시험패킷을 이용한 노드간 경로특성측정방법
US7176902B2 (en) 2003-10-10 2007-02-13 3M Innovative Properties Company Wake-on-touch for vibration sensing touch input devices
US7554689B2 (en) 2003-10-15 2009-06-30 Canon Kabushiki Kaisha Document layout method
US20050091604A1 (en) 2003-10-22 2005-04-28 Scott Davis Systems and methods that track a user-identified point of focus
US6990637B2 (en) 2003-10-23 2006-01-24 Microsoft Corporation Graphical user interface for 3-dimensional view of a data collection based on an attribute of the data
JP2005135106A (ja) 2003-10-29 2005-05-26 Sony Corp 表示画像制御装置及び方法
US20050183035A1 (en) 2003-11-20 2005-08-18 Ringel Meredith J. Conflict resolution for graphic multi-user interface
US20050110777A1 (en) 2003-11-25 2005-05-26 Geaghan Bernard O. Light-emitting stylus and user input device using same
US8164573B2 (en) 2003-11-26 2012-04-24 Immersion Corporation Systems and methods for adaptive interpretation of input from a touch-sensitive input device
JP2005157842A (ja) 2003-11-27 2005-06-16 Fujitsu Ltd ブラウザプログラム、ブラウジング方法、及びブラウジング装置
US7454713B2 (en) 2003-12-01 2008-11-18 Sony Ericsson Mobile Communications Ab Apparatus, methods and computer program products providing menu expansion and organization functions
SG176315A1 (en) 2003-12-01 2011-12-29 Research In Motion Ltd Previewing a new event on a small screen device
ES2292924T3 (es) 2003-12-01 2008-03-16 Sony Ericsson Mobile Communications Ab Camara para registrar una secuencia de imagenes.
US20050125742A1 (en) 2003-12-09 2005-06-09 International Business Machines Corporation Non-overlapping graphical user interface workspace
US7774721B2 (en) 2003-12-15 2010-08-10 Microsoft Corporation Intelligent backward resource navigation
US7085590B2 (en) 2003-12-31 2006-08-01 Sony Ericsson Mobile Communications Ab Mobile terminal with ergonomic imaging functions
US7283120B2 (en) 2004-01-16 2007-10-16 Immersion Corporation Method and apparatus for providing haptic feedback having a position-based component and a predetermined time-based component
DE602004013116T2 (de) 2004-01-20 2009-07-02 Sony Deutschland Gmbh Haptische tastengesteuerte Dateneingabe
US7966352B2 (en) 2004-01-26 2011-06-21 Microsoft Corporation Context harvesting from selected content
JP4790990B2 (ja) 2004-01-27 2011-10-12 京セラ株式会社 携帯端末
US7441204B2 (en) 2004-02-06 2008-10-21 Microsoft Corporation Method and system for automatically displaying content of a window on a display that has changed orientation
CA2557507A1 (en) 2004-02-25 2005-09-09 Xplore Technologies Corporation Apparatus providing multi-mode digital input
US20050190280A1 (en) 2004-02-27 2005-09-01 Haas William R. Method and apparatus for a digital camera scrolling slideshow
US7180531B2 (en) 2004-02-27 2007-02-20 Microsoft Corporation Method and apparatus for enabling application program compatibility with display devices having improved pixel density
KR100611182B1 (ko) 2004-02-27 2006-08-10 삼성전자주식회사 회전상태에 따라 메뉴표시상태를 변경하는 휴대형전자기기 및 그 방법
US7788595B2 (en) 2004-03-08 2010-08-31 Sap Ag Method and system for switching among management system applications
EP1738246A4 (en) 2004-03-09 2011-02-09 Freedom Scientific Inc IMPROVED VISION IMPROVEMENT FOR GRAPHICAL USER INTERFACE
GB2412831A (en) 2004-03-30 2005-10-05 Univ Newcastle Highlighting important information by blurring less important information
US7921373B2 (en) 2004-04-05 2011-04-05 Panasonic Corporation Display screen management apparatus
US20050223338A1 (en) 2004-04-05 2005-10-06 Nokia Corporation Animated user-interface in electronic devices
US20050229112A1 (en) 2004-04-13 2005-10-13 Clay Timothy M Method and system for conveying an image position
JP2005309933A (ja) 2004-04-23 2005-11-04 Canon Inc 拡張制御装置および画像処理システムおよびアプリケーションアイコン表示方法およびプログラムおよび記憶媒体
US7694236B2 (en) 2004-04-23 2010-04-06 Microsoft Corporation Stack icons representing multiple objects
US7787026B1 (en) 2004-04-28 2010-08-31 Media Tek Singapore Pte Ltd. Continuous burst mode digital camera
EP1745355A2 (en) 2004-05-05 2007-01-24 Koninklijke Philips Electronics N.V. Browsing media items
JP4063246B2 (ja) 2004-05-11 2008-03-19 日本電気株式会社 ページ情報表示装置
WO2005114422A2 (en) 2004-05-21 2005-12-01 Pressco Technology Inc. Graphical re-inspection user setup interface
JP4869568B2 (ja) 2004-06-14 2012-02-08 ソニー株式会社 入力装置および電子機器
US8321786B2 (en) 2004-06-17 2012-11-27 Apple Inc. Routine and interface for correcting electronic text
US8453065B2 (en) 2004-06-25 2013-05-28 Apple Inc. Preview and installation of user interface elements in a display environment
US8281241B2 (en) 2004-06-28 2012-10-02 Nokia Corporation Electronic device and method for providing extended user interface
US8046712B2 (en) 2004-06-29 2011-10-25 Acd Systems International Inc. Management of multiple window panels with a graphical user interface
US7743348B2 (en) 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
US20060001657A1 (en) 2004-07-02 2006-01-05 Logitech Europe S.A. Scrolling device
US20060020904A1 (en) 2004-07-09 2006-01-26 Antti Aaltonen Stripe user interface
US20060012577A1 (en) 2004-07-16 2006-01-19 Nokia Corporation Active keypad lock for devices equipped with touch screen
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US20080094367A1 (en) 2004-08-02 2008-04-24 Koninklijke Philips Electronics, N.V. Pressure-Controlled Navigating in a Touch Screen
EP1812892B1 (en) 2004-08-02 2010-09-29 Koninklijke Philips Electronics N.V. Touch screen with pressure-dependent visual feedback
US7178111B2 (en) 2004-08-03 2007-02-13 Microsoft Corporation Multi-planar three-dimensional user interface
US7724242B2 (en) 2004-08-06 2010-05-25 Touchtable, Inc. Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter
US7728821B2 (en) 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
GB2417176A (en) 2004-08-12 2006-02-15 Ibm Mouse cursor display
US8117542B2 (en) 2004-08-16 2012-02-14 Microsoft Corporation User interface for displaying selectable software functionality controls that are contextually relevant to a selected object
US20060041846A1 (en) 2004-08-19 2006-02-23 International Business Machines Corporation Method of window management for a windowing system
FR2874432A1 (fr) 2004-08-20 2006-02-24 Gervais Danone Sa Procede d'analyse de produits industriels alimentaires, cosmetiques et/ou d'hygiene, interface de mesure pour la mise en oeuvre du procede et systeme electronique de mise en oeuvre de l'interface
JP2006059238A (ja) 2004-08-23 2006-03-02 Denso Corp 情報入力表示装置
US7761814B2 (en) 2004-09-13 2010-07-20 Microsoft Corporation Flick gesture
MX2007002958A (es) 2004-09-15 2007-04-27 Nokia Corp Manejo y desplazamiento de contenido en pantalla.
JP2006091446A (ja) 2004-09-24 2006-04-06 Fuji Photo Film Co Ltd カメラ
US20060067654A1 (en) 2004-09-24 2006-03-30 Magix Ag Graphical user interface adaptable to multiple display devices
JP4860625B2 (ja) 2004-10-08 2012-01-25 イマージョン コーポレーション タッチ式入力装置におけるボタンおよびスクロール動作シミュレーション用の触覚フィードバック
EP1821182B1 (en) 2004-10-12 2013-03-27 Nippon Telegraph And Telephone Corporation 3d pointing method, 3d display control method, 3d pointing device, 3d display control device, 3d pointing program, and 3d display control program
WO2006043209A1 (en) 2004-10-19 2006-04-27 Koninklijke Philips Electronics N.V. Master substrate and method of manufacturing a high-density relief structure
US8413271B2 (en) 2004-10-29 2013-04-09 Stryker Corporation Patient support apparatus
US8677274B2 (en) 2004-11-10 2014-03-18 Apple Inc. Highlighting items for search results
US20060107226A1 (en) 2004-11-16 2006-05-18 Microsoft Corporation Sidebar autohide to desktop
US8473869B2 (en) 2004-11-16 2013-06-25 Koninklijke Philips Electronics N.V. Touchless manipulation of images for regional enhancement
FR2878344B1 (fr) 2004-11-22 2012-12-21 Sionnest Laurent Guyot Dispositif de commandes et d'entree de donnees
US7847789B2 (en) 2004-11-23 2010-12-07 Microsoft Corporation Reducing accidental touch-sensitive device activation
US20060136834A1 (en) 2004-12-15 2006-06-22 Jiangen Cao Scrollable toolbar with tool tip on small screens
US7458038B2 (en) 2004-12-20 2008-11-25 Microsoft Corporation Selection indication fields
US7619616B2 (en) 2004-12-21 2009-11-17 Microsoft Corporation Pressure sensitive controls
US7683889B2 (en) 2004-12-21 2010-03-23 Microsoft Corporation Pressure based selection
US7629966B2 (en) 2004-12-21 2009-12-08 Microsoft Corporation Hard tap
CN101099192A (zh) 2005-01-05 2008-01-02 松下电器产业株式会社 屏幕显示设备
US8341541B2 (en) 2005-01-18 2012-12-25 Microsoft Corporation System and method for visually browsing of open windows
US7552397B2 (en) 2005-01-18 2009-06-23 Microsoft Corporation Multiple window behavior system
US8464176B2 (en) 2005-01-19 2013-06-11 Microsoft Corporation Dynamic stacking and expansion of visual items
US7574434B2 (en) 2005-02-25 2009-08-11 Sony Corporation Method and system for navigating and selecting media from large data sets
KR101984833B1 (ko) 2005-03-04 2019-06-03 애플 인크. 다기능 휴대용 장치
JP4166229B2 (ja) 2005-03-14 2008-10-15 株式会社日立製作所 タッチパネルを備えた表示装置
US20060213754A1 (en) 2005-03-17 2006-09-28 Microsoft Corporation Method and system for computer application program task switching via a single hardware button
US7454702B2 (en) 2005-03-21 2008-11-18 Microsoft Corporation Tool for selecting ink and other objects in an electronic document
US8147248B2 (en) 2005-03-21 2012-04-03 Microsoft Corporation Gesture training
US7661069B2 (en) 2005-03-31 2010-02-09 Microsoft Corporation System and method for visually expressing user interface elements
US7478339B2 (en) 2005-04-01 2009-01-13 Microsoft Corporation Method and apparatus for application window grouping and management
US8014034B2 (en) 2005-04-13 2011-09-06 Acd Systems International Inc. Image contrast enhancement
US8023568B2 (en) * 2005-04-15 2011-09-20 Avid Technology, Inc. Capture, editing and encoding of motion pictures encoded with repeating fields or frames
US7471284B2 (en) 2005-04-15 2008-12-30 Microsoft Corporation Tactile scroll bar with illuminated document position indicator
US7355595B2 (en) 2005-04-15 2008-04-08 Microsoft Corporation Tactile device for scrolling
US7673255B2 (en) 2005-04-22 2010-03-02 Microsoft Corporation Interface and system for manipulating thumbnails of live windows in a window manager
US7609178B2 (en) 2006-04-20 2009-10-27 Pressure Profile Systems, Inc. Reconfigurable tactile sensor input device
US9569093B2 (en) 2005-05-18 2017-02-14 Power2B, Inc. Displays and information input devices
US20070024646A1 (en) 2005-05-23 2007-02-01 Kalle Saarinen Portable electronic apparatus and associated method
US9785329B2 (en) 2005-05-23 2017-10-10 Nokia Technologies Oy Pocket computer and associated methods
US7797641B2 (en) 2005-05-27 2010-09-14 Nokia Corporation Mobile communications terminal and method therefore
EP1891808B1 (en) * 2005-06-02 2010-11-17 PolyVision Corporation Virtual flip chart method and apparatus
US9141718B2 (en) 2005-06-03 2015-09-22 Apple Inc. Clipview applications
US7710397B2 (en) 2005-06-03 2010-05-04 Apple Inc. Mouse with improved input mechanisms using touch sensors
JP2006345209A (ja) 2005-06-08 2006-12-21 Sony Corp 入力装置、情報処理装置、情報処理方法、及びプログラム
US7903090B2 (en) 2005-06-10 2011-03-08 Qsi Corporation Force-based input device
TWI296395B (en) 2005-06-24 2008-05-01 Benq Corp Method for zooming image on touch screen
US20070004461A1 (en) 2005-06-30 2007-01-04 Bathina Sridhar N Terminal with messaging application
KR100649523B1 (ko) 2005-06-30 2006-11-27 삼성에스디아이 주식회사 입체 영상 표시 장치
US20070004451A1 (en) 2005-06-30 2007-01-04 C Anderson Eric Controlling functions of a handheld multifunction device
CN101814005B (zh) 2005-07-22 2013-02-27 运行移动系统公司 最适宜拇指的触摸屏用户界面的系统和方法
US8049731B2 (en) 2005-07-29 2011-11-01 Interlink Electronics, Inc. System and method for implementing a control function via a sensor having a touch sensitive control input surface
JP4622727B2 (ja) 2005-07-29 2011-02-02 日本電気株式会社 適応送信タイミング制御方法、無線通信システムおよび無線通信装置
US20080297475A1 (en) 2005-08-02 2008-12-04 Woolf Tod M Input Device Having Multifunctional Keys
US7680513B2 (en) 2005-08-08 2010-03-16 Palm, Inc. Contact-centric user-interface features for computing devices
WO2007024035A1 (en) 2005-08-26 2007-03-01 Ktf Technologies, Inc. User terminal for performing a plurality of applications simultaneously
JP2009508274A (ja) 2005-09-13 2009-02-26 スペースタイムスリーディー・インコーポレーテッド 3次元グラフィカル・ユーザ・インターフェースを提供するシステム及び方法
US20070152980A1 (en) 2006-01-05 2007-07-05 Kenneth Kocienda Touch Screen Keyboards for Portable Electronic Devices
US7694231B2 (en) 2006-01-05 2010-04-06 Apple Inc. Keyboards for portable electronic devices
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
TW200715192A (en) 2005-10-07 2007-04-16 Elan Microelectronics Corp Method for a window to generate different moving speed
JP2007116384A (ja) 2005-10-20 2007-05-10 Funai Electric Co Ltd 電子番組情報表示装置
CN1955906A (zh) 2005-10-28 2007-05-02 华硕电脑股份有限公司 单键多程式的执行方法
US7725839B2 (en) 2005-11-15 2010-05-25 Microsoft Corporation Three-dimensional active file explorer
US8643605B2 (en) 2005-11-21 2014-02-04 Core Wireless Licensing S.A.R.L Gesture based document editor
US7331245B2 (en) 2005-11-22 2008-02-19 Avago Technologies Ecbu Ip Pte Ltd Pressure distribution sensor and sensing method
JP4777055B2 (ja) 2005-11-29 2011-09-21 京セラ株式会社 表示装置、制御方法
JP2007148927A (ja) 2005-11-29 2007-06-14 Alps Electric Co Ltd 入力装置及びこれを用いたスクロール制御方法
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
WO2007068091A1 (en) 2005-12-12 2007-06-21 Audiokinetic Inc. Method and system for multi-version digital authoring
JP2007163891A (ja) 2005-12-14 2007-06-28 Sony Corp 表示装置
US8325398B2 (en) 2005-12-22 2012-12-04 Canon Kabushiki Kaisha Image editing system, image management apparatus, and image editing program
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US20070152959A1 (en) 2005-12-29 2007-07-05 Sap Ag Pressure-sensitive button
US7797642B1 (en) 2005-12-30 2010-09-14 Google Inc. Method, system, and graphical user interface for meeting-spot-related contact lists
CN101379461A (zh) 2005-12-30 2009-03-04 苹果公司 具有多重触摸输入的便携式电子设备
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US20070168369A1 (en) 2006-01-04 2007-07-19 Companionlink Software, Inc. User interface for a portable electronic device
US7757185B2 (en) 2006-01-06 2010-07-13 Apple Inc. Enabling and disabling hotkeys
US7603633B2 (en) 2006-01-13 2009-10-13 Microsoft Corporation Position-based multi-stroke marking menus
US7486282B2 (en) 2006-01-27 2009-02-03 Microsoft Corporation Size variant pressure eraser
US8510669B2 (en) 2006-02-06 2013-08-13 Yahoo! Inc. Method and system for presenting photos on a website
US7536654B2 (en) 2006-02-06 2009-05-19 Microsoft Corporation Photo browse and zoom
US8139514B2 (en) 2006-02-24 2012-03-20 Yahoo! Inc. Method and system for communicating with multiple users via a map over the internet
US20110096174A1 (en) 2006-02-28 2011-04-28 King Martin T Accessing resources based on capturing information from a rendered document
KR100744400B1 (ko) 2006-03-07 2007-07-30 삼성전자주식회사 이동 통신 단말기의 메뉴 화면에서 빠른 메뉴 제공 방법 및장치
US7532837B2 (en) 2006-03-09 2009-05-12 Kabushiki Kaisha Toshiba Multifunction peripheral with template registration and template registration method
US8745526B2 (en) 2006-03-14 2014-06-03 Blackberry Limited Screen display in application switching
KR100746874B1 (ko) 2006-03-16 2007-08-07 삼성전자주식회사 이동 단말기에서 터치패드를 이용한 서비스 제공 장치 및방법
GB0605587D0 (en) 2006-03-20 2006-04-26 British Broadcasting Corp Graphical user interface methods and systems
WO2007111909A2 (en) 2006-03-24 2007-10-04 Northwestern University Haptic device with indirect haptic feedback
JP2007264808A (ja) 2006-03-27 2007-10-11 Nikon Corp 表示入力装置及び撮像装置
US7925250B2 (en) 2006-03-27 2011-04-12 International Business Machines Corporation Reuse of a mobile device application in a desktop environment
US8780139B2 (en) 2006-03-27 2014-07-15 Adobe Systems Incorporated Resolution monitoring when using visual manipulation tools
US7656413B2 (en) 2006-03-29 2010-02-02 Autodesk, Inc. Large display attention focus system
US7538760B2 (en) 2006-03-30 2009-05-26 Apple Inc. Force imaging input device and system
US8040142B1 (en) 2006-03-31 2011-10-18 Cypress Semiconductor Corporation Touch detection techniques for capacitive touch sense systems
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US7861176B2 (en) 2006-04-13 2010-12-28 Touchcommerce, Inc. Methods and systems for providing online chat
US7607088B2 (en) 2006-04-18 2009-10-20 International Business Machines Corporation Computer program product, apparatus and method for displaying a plurality of entities in a tooltip for a cell of a table
US8683362B2 (en) 2008-05-23 2014-03-25 Qualcomm Incorporated Card metaphor for activities in a computing device
US8296684B2 (en) 2008-05-23 2012-10-23 Hewlett-Packard Development Company, L.P. Navigating among activities in a computing device
EP2010999A4 (en) 2006-04-21 2012-11-21 Google Inc SYSTEM FOR ORGANIZING AND VISUALIZING DISPLAY OBJECTS
KR100771626B1 (ko) 2006-04-25 2007-10-31 엘지전자 주식회사 단말기 및 이를 위한 명령 입력 방법
US8279180B2 (en) 2006-05-02 2012-10-02 Apple Inc. Multipoint touch surface controller
JP4926533B2 (ja) * 2006-05-02 2012-05-09 キヤノン株式会社 動画像処理装置、動画像処理方法及びプログラム
JP4737539B2 (ja) 2006-05-03 2011-08-03 株式会社ソニー・コンピュータエンタテインメント マルチメディア再生装置および背景画像表示方法
US9063647B2 (en) 2006-05-12 2015-06-23 Microsoft Technology Licensing, Llc Multi-touch uses, gestures, and implementation
WO2007139770A2 (en) 2006-05-22 2007-12-06 Nike, Inc. User interface for remotely controlling a digital music player
US7921116B2 (en) * 2006-06-16 2011-04-05 Microsoft Corporation Highly meaningful multimedia metadata creation and associations
US20070299923A1 (en) 2006-06-16 2007-12-27 Skelly George J Methods and systems for managing messaging
KR101242030B1 (ko) 2006-06-22 2013-03-11 엘지디스플레이 주식회사 유기전계발광 소자
US7880728B2 (en) 2006-06-29 2011-02-01 Microsoft Corporation Application switching via a touch screen interface
JP2008009759A (ja) 2006-06-29 2008-01-17 Toyota Motor Corp タッチパネル装置
JP4751780B2 (ja) 2006-07-07 2011-08-17 株式会社エヌ・ティ・ティ・ドコモ キー入力装置
JP4583344B2 (ja) 2006-07-10 2010-11-17 シャープ株式会社 携帯電話機
EP1882902A1 (en) 2006-07-27 2008-01-30 Aisin AW Co., Ltd. Navigation apparatus and method for providing guidance to a vehicle user using a touch screen
US20080024454A1 (en) 2006-07-31 2008-01-31 Paul Everest Three-dimensional touch pad input device
JP2008033739A (ja) 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US8255815B2 (en) 2006-08-04 2012-08-28 Apple Inc. Motion picture preview icons
JP5028904B2 (ja) * 2006-08-10 2012-09-19 ソニー株式会社 電子機器、および起動方法
US20080051989A1 (en) 2006-08-25 2008-02-28 Microsoft Corporation Filtering of data layered on mapping applications
US8842074B2 (en) 2006-09-06 2014-09-23 Apple Inc. Portable electronic device performing similar operations for different gestures
US7956849B2 (en) 2006-09-06 2011-06-07 Apple Inc. Video manager for portable multifunction device
CN101356493A (zh) * 2006-09-06 2009-01-28 苹果公司 用于照片管理的便携式电子装置
US7864163B2 (en) 2006-09-06 2011-01-04 Apple Inc. Portable electronic device, method, and graphical user interface for displaying structured electronic documents
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7743338B2 (en) 2006-09-11 2010-06-22 Apple Inc. Image rendering with image artifact along a multidimensional path
US7581186B2 (en) 2006-09-11 2009-08-25 Apple Inc. Media manager with integrated browsers
US8564543B2 (en) 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
US7930650B2 (en) 2006-09-11 2011-04-19 Apple Inc. User interface with menu abstractions and content abstractions
US20080094398A1 (en) 2006-09-19 2008-04-24 Bracco Imaging, S.P.A. Methods and systems for interacting with a 3D visualization system using a 2D interface ("DextroLap")
JP5176300B2 (ja) 2006-09-22 2013-04-03 富士通株式会社 電子機器、その制御方法及びその制御プログラム
JP2008076818A (ja) 2006-09-22 2008-04-03 Fujitsu Ltd 携帯端末装置
US8245154B2 (en) 2006-11-03 2012-08-14 International Business Machines Corporation Most-recently-used task switching among parent and child windows
US20080106523A1 (en) 2006-11-07 2008-05-08 Conrad Richard H Ergonomic lift-clicking method and apparatus for actuating home switches on computer input devices
WO2008064142A2 (en) 2006-11-20 2008-05-29 Pham Don N Interactive sequential key system to input characters on small keypads
KR20080048837A (ko) 2006-11-29 2008-06-03 삼성전자주식회사 촉각 피드백을 출력하는 장치 및 방법
US8006002B2 (en) 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
JP2008146453A (ja) 2006-12-12 2008-06-26 Sony Corp 映像信号出力装置、操作入力処理方法
US8520866B2 (en) 2006-12-15 2013-08-27 Nokia Corporation Apparatus, method, and computer program product providing sound-produced tactile feedback
KR20080058121A (ko) 2006-12-21 2008-06-25 삼성전자주식회사 휴대단말기에서의 촉각형 사용자 인터페이스 제공 장치 및방법
US20080163119A1 (en) 2006-12-28 2008-07-03 Samsung Electronics Co., Ltd. Method for providing menu and multimedia device using the same
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US8698727B2 (en) 2007-01-05 2014-04-15 Apple Inc. Backlight and ambient light sensor system
US8214768B2 (en) 2007-01-05 2012-07-03 Apple Inc. Method, system, and graphical user interface for viewing multiple application windows
US8269886B2 (en) 2007-01-05 2012-09-18 Marvell World Trade Ltd. Methods and systems for improving low-resolution video
US7877707B2 (en) 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US9001047B2 (en) 2007-01-07 2015-04-07 Apple Inc. Modal change based on orientation of a portable multifunction device
US8519963B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
US8091045B2 (en) 2007-01-07 2012-01-03 Apple Inc. System and method for managing lists
US20080168395A1 (en) 2007-01-07 2008-07-10 Bas Ording Positioning a Slider Icon on a Portable Multifunction Device
US7957762B2 (en) 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
US7978176B2 (en) 2007-01-07 2011-07-12 Apple Inc. Portrait-landscape rotation heuristics for a portable multifunction device
US20080222545A1 (en) 2007-01-07 2008-09-11 Lemay Stephen O Portable Electronic Device with a Global Setting User Interface
US8082523B2 (en) 2007-01-07 2011-12-20 Apple Inc. Portable electronic device with graphical user interface supporting application switching
CN105224313A (zh) 2007-01-11 2016-01-06 皇家飞利浦电子股份有限公司 用于提供撤消/重做机制的方法和设备
US8201087B2 (en) 2007-02-01 2012-06-12 Tegic Communications, Inc. Spell-check for a keyboard system with automatic correction
CN101241397B (zh) 2007-02-07 2012-03-07 罗伯特·博世有限公司 具有鼠标功能的键盘及其输入方法
JP2008191086A (ja) 2007-02-07 2008-08-21 Matsushita Electric Ind Co Ltd ナビゲーション装置
GB2446702A (en) 2007-02-13 2008-08-20 Qrg Ltd Touch Control Panel with Pressure Sensor
KR101450584B1 (ko) 2007-02-22 2014-10-14 삼성전자주식회사 단말의 화면 표시 방법
US8650505B2 (en) 2007-02-28 2014-02-11 Rpx Corporation Multi-state unified pie user interface
JP5118129B2 (ja) 2007-03-06 2013-01-16 パナソニック株式会社 撮像装置、編集装置、画像処理方法及びプログラム
WO2008109172A1 (en) 2007-03-07 2008-09-12 Wiklof Christopher A Recorder with retrospective capture
US8352881B2 (en) 2007-03-08 2013-01-08 International Business Machines Corporation Method, apparatus and program storage device for providing customizable, immediate and radiating menus for accessing applications and actions
US7895533B2 (en) 2007-03-13 2011-02-22 Apple Inc. Interactive image thumbnails
JP4424364B2 (ja) 2007-03-19 2010-03-03 ソニー株式会社 画像処理装置、画像処理方法
US20080244448A1 (en) 2007-04-01 2008-10-02 Katharina Goering Generation of menu presentation relative to a given menu orientation
US20080259046A1 (en) 2007-04-05 2008-10-23 Joseph Carsanaro Pressure sensitive touch pad with virtual programmable buttons for launching utility applications
US7973778B2 (en) 2007-04-16 2011-07-05 Microsoft Corporation Visual simulation of touch pressure
US8140996B2 (en) 2007-04-17 2012-03-20 QNX Software Systems Limtied System for endless loop scrolling and display
CN101290553A (zh) 2007-04-17 2008-10-22 索尼(中国)有限公司 具有显示屏的电子设备
WO2008131544A1 (en) 2007-04-26 2008-11-06 University Of Manitoba Pressure augmented mouse
US20080270910A1 (en) 2007-04-30 2008-10-30 Lukasik Derek J User selection of a remote session
KR100807738B1 (ko) 2007-05-02 2008-02-28 삼성전자주식회사 이동 통신 단말기의 진동 생성 방법 및 장치
JP2008283629A (ja) 2007-05-14 2008-11-20 Sony Corp 撮像装置、撮像信号処理方法、プログラム
CN201107762Y (zh) 2007-05-15 2008-08-27 宏达国际电子股份有限公司 具有可切换使用者界面以及无阻碍触控操作的电子装置
US8621348B2 (en) 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
CN101681233B (zh) 2007-05-29 2012-07-18 株式会社爱可信 历史记录管理方法及终端装置
US7801950B2 (en) 2007-06-01 2010-09-21 Clustrmaps Ltd. System for analyzing and visualizing access statistics for a web site
JP2008305174A (ja) 2007-06-07 2008-12-18 Sony Corp 情報処理装置、情報処理方法、プログラム
US8010900B2 (en) 2007-06-08 2011-08-30 Apple Inc. User interface for electronic backup
US20080307359A1 (en) 2007-06-08 2008-12-11 Apple Inc. Grouping Graphical Representations of Objects in a User Interface
US8745535B2 (en) 2007-06-08 2014-06-03 Apple Inc. Multi-dimensional desktop
US20080303795A1 (en) 2007-06-08 2008-12-11 Lowles Robert J Haptic display for a handheld electronic device
US8381122B2 (en) 2007-06-08 2013-02-19 Apple Inc. Multi-dimensional application environment
US8667418B2 (en) 2007-06-08 2014-03-04 Apple Inc. Object stack
US8423914B2 (en) 2007-06-08 2013-04-16 Apple Inc. Selection user interface
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US8302033B2 (en) 2007-06-22 2012-10-30 Apple Inc. Touch screen device, method, and graphical user interface for providing maps, directions, and location-based information
US8059101B2 (en) 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US8315482B2 (en) 2007-06-26 2012-11-20 Microsoft Corporation Integrated platform for user input of digital ink
US9772751B2 (en) 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US20090015563A1 (en) 2007-07-11 2009-01-15 John Thomas Sadler Stylized interactive icon for portable mobile communications device
US7805681B2 (en) 2007-07-12 2010-09-28 Sony Ericsson Mobile Communications Ab System and method for generating a thumbnail image for an audiovisual file
JP4380746B2 (ja) 2007-07-23 2009-12-09 ヤマハ株式会社 ディジタルミキサ
US20090046110A1 (en) 2007-08-16 2009-02-19 Motorola, Inc. Method and apparatus for manipulating a displayed image
US20110210931A1 (en) 2007-08-19 2011-09-01 Ringbow Ltd. Finger-worn device and interaction methods and communication methods
KR20090019161A (ko) 2007-08-20 2009-02-25 삼성전자주식회사 전자 장치 및 이를 조작하는 방법
KR101424259B1 (ko) 2007-08-22 2014-07-31 삼성전자주식회사 휴대단말에서 입력 피드백 제공 방법 및 장치
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US8825802B2 (en) 2007-09-04 2014-09-02 Sony Computer Entertainment America Llc System and method for identifying compatible users
US8826132B2 (en) 2007-09-04 2014-09-02 Apple Inc. Methods and systems for navigating content on a portable device
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
US9477395B2 (en) 2007-09-04 2016-10-25 Apple Inc. Audio file interface
US8683378B2 (en) 2007-09-04 2014-03-25 Apple Inc. Scrolling techniques for user interfaces
US20110035662A1 (en) 2009-02-18 2011-02-10 King Martin T Interacting with rendered documents using a multi-function mobile device, such as a mobile phone
US20110145068A1 (en) 2007-09-17 2011-06-16 King Martin T Associating rendered advertisements with digital content
US20090089293A1 (en) 2007-09-28 2009-04-02 Bccg Ventures, Llc Selfish data browsing
US8125458B2 (en) 2007-09-28 2012-02-28 Microsoft Corporation Detecting finger orientation on a touch-sensitive device
US8098235B2 (en) 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
TWI417764B (zh) 2007-10-01 2013-12-01 Giga Byte Comm Inc A control method and a device for performing a switching function of a touch screen of a hand-held electronic device
DE202008018283U1 (de) 2007-10-04 2012-07-17 Lg Electronics Inc. Menüanzeige für ein mobiles Kommunikationsendgerät
KR101570368B1 (ko) 2008-08-22 2015-11-20 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
KR20090036877A (ko) 2007-10-10 2009-04-15 삼성전자주식회사 다중 프로젝션 윈도우 환경에서 기준자 기반으로오브젝트를 관리하는 방법 및 그 시스템
KR100823871B1 (ko) 2007-10-11 2008-04-21 주식회사 자티전자 드래그 버튼을 이용하여 절전을 관리하는 휴대용 단말기 및그 동작방법
CN101414231B (zh) 2007-10-17 2011-09-21 鸿富锦精密工业(深圳)有限公司 触摸屏装置及其图像显示方法
US20090102805A1 (en) 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
DE102007052008A1 (de) 2007-10-26 2009-04-30 Andreas Steinhauser Single- oder multitouchfähiger Touchscreen oder Touchpad bestehend aus einem Array von Drucksensoren sowie Herstellung solcher Sensoren
US8024670B1 (en) 2007-10-30 2011-09-20 Intuit Inc. Workflow management using live thumbnails
JP4974236B2 (ja) 2007-10-30 2012-07-11 アズビル株式会社 情報連携ウィンドウシステムおよびプログラム
WO2009059062A2 (en) 2007-10-31 2009-05-07 Stratovan Corporation Resolution independent layout
JP2009129171A (ja) 2007-11-22 2009-06-11 Denso It Laboratory Inc 移動体に搭載される情報処理装置
TW200923758A (en) 2007-11-27 2009-06-01 Wistron Corp A key-in method and a content display method of an electronic device, and the application thereof
US8245155B2 (en) 2007-11-29 2012-08-14 Sony Corporation Computer implemented display, graphical user interface, design and method including scrolling features
US20090140985A1 (en) 2007-11-30 2009-06-04 Eric Liu Computing device that determines and uses applied pressure from user interaction with an input interface
US9513765B2 (en) 2007-12-07 2016-12-06 Sony Corporation Three-dimensional sliding object arrangement method and system
US20090167507A1 (en) 2007-12-07 2009-07-02 Nokia Corporation User interface
US7839269B2 (en) 2007-12-12 2010-11-23 Immersion Corporation Method and apparatus for distributing haptic synchronous signals
US8140974B2 (en) 2007-12-14 2012-03-20 Microsoft Corporation Presenting secondary media objects to a user
JP4605214B2 (ja) 2007-12-19 2011-01-05 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
TW200930009A (en) 2007-12-21 2009-07-01 Inventec Appliances Corp Procedure of acting personally hot function setting
KR101456570B1 (ko) 2007-12-21 2014-10-31 엘지전자 주식회사 디지털 이퀄라이저를 구비한 이동 단말기 및 그 제어방법
US8233671B2 (en) 2007-12-27 2012-07-31 Intel-Ge Care Innovations Llc Reading device with hierarchal navigation
US9170649B2 (en) 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
US8042190B2 (en) 2007-12-31 2011-10-18 Intel Corporation Pre-boot protected memory channel
US9857872B2 (en) 2007-12-31 2018-01-02 Apple Inc. Multi-touch display screen with localized tactile feedback
US8138896B2 (en) 2007-12-31 2012-03-20 Apple Inc. Tactile feedback in an electronic device
US8707215B2 (en) 2007-12-31 2014-04-22 Motorola Mobility Llc Hand-held device and method for operating a single pointer touch sensitive user interface
US9274612B2 (en) 2008-01-04 2016-03-01 Tactus Technology, Inc. User interface system
US9063627B2 (en) 2008-01-04 2015-06-23 Tactus Technology, Inc. User interface and methods
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
JP5001182B2 (ja) 2008-01-10 2012-08-15 パナソニック株式会社 表示制御装置、電子機器、表示制御方法、およびプログラム
US8196042B2 (en) 2008-01-21 2012-06-05 Microsoft Corporation Self-revelation aids for interfaces
US9665197B2 (en) 2008-01-30 2017-05-30 Nokia Technologies Oy Apparatus and method for enabling user input
US20090195959A1 (en) 2008-01-31 2009-08-06 Research In Motion Limited Electronic device and method for controlling same
US8423076B2 (en) 2008-02-01 2013-04-16 Lg Electronics Inc. User interface for a mobile device
US8504945B2 (en) 2008-02-01 2013-08-06 Gabriel Jakobson Method and system for associating content with map zoom function
KR101467513B1 (ko) 2008-02-11 2014-12-01 삼성전자 주식회사 모바일 단말 제어장치 및 그 방법
US20090295713A1 (en) 2008-05-30 2009-12-03 Julien Piot Pointing device with improved cursor control in-air and allowing multiple modes of operations
JP2009200713A (ja) * 2008-02-20 2009-09-03 Sony Corp 画像処理装置、画像処理方法、プログラム
US8314801B2 (en) 2008-02-29 2012-11-20 Microsoft Corporation Visual state manager for control skinning
US20090276730A1 (en) 2008-03-04 2009-11-05 Alexandre Aybes Techniques for navigation of hierarchically-presented data
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US8201109B2 (en) 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8650507B2 (en) 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
JP4650699B2 (ja) 2008-03-06 2011-03-16 Necインフロンティア株式会社 入力装置、入力方法およびプログラム
KR101012300B1 (ko) 2008-03-07 2011-02-08 삼성전자주식회사 터치스크린을 구비한 휴대 단말기의 사용자 인터페이스장치 및 그 방법
JP4670879B2 (ja) 2008-03-11 2011-04-13 ブラザー工業株式会社 接触入力型の情報処理装置、接触入力型の情報処理方法、及び情報処理プログラム
US20090237374A1 (en) 2008-03-20 2009-09-24 Motorola, Inc. Transparent pressure sensor and method for using
JP4530067B2 (ja) 2008-03-27 2010-08-25 ソニー株式会社 撮像装置、撮像方法及びプログラム
US20090247112A1 (en) 2008-03-28 2009-10-01 Sprint Communications Company L.P. Event disposition control for mobile communications device
JP2009245239A (ja) 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
US8612888B2 (en) 2008-04-01 2013-12-17 Litl, Llc Method and apparatus for managing digital media content
GB0806183D0 (en) 2008-04-04 2008-05-14 Picsel Res Ltd Presentation of objects in 3D displays
US20090251421A1 (en) 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications Ab Method and apparatus for tactile perception of digital images
JP5200641B2 (ja) 2008-04-10 2013-06-05 ソニー株式会社 リスト表示装置及びリスト表示方法
US8209628B1 (en) 2008-04-11 2012-06-26 Perceptive Pixel, Inc. Pressure-sensitive manipulation of displayed objects
US8259208B2 (en) 2008-04-15 2012-09-04 Sony Corporation Method and apparatus for performing touch-based adjustments within imaging devices
JP5428189B2 (ja) 2008-04-17 2014-02-26 三洋電機株式会社 ナビゲーション装置
US20090267906A1 (en) 2008-04-25 2009-10-29 Nokia Corporation Touch sensitive apparatus
TW200945171A (en) 2008-04-25 2009-11-01 Htc Corp Operation method of user interface and computer readable and accessable medium and portable device
US20090271731A1 (en) 2008-04-27 2009-10-29 Htc Corporation Electronic device and user interface display method thereof
JP4792058B2 (ja) 2008-04-28 2011-10-12 株式会社東芝 情報処理装置、制御方法およびプログラム
US20150205775A1 (en) 2008-05-01 2015-07-23 Eric Berdahl Managing Documents and Document Workspaces
US8159469B2 (en) 2008-05-06 2012-04-17 Hewlett-Packard Development Company, L.P. User interface for initiating activities in an electronic device
KR101461954B1 (ko) 2008-05-08 2014-11-14 엘지전자 주식회사 단말기 및 그 제어 방법
US20090280860A1 (en) 2008-05-12 2009-11-12 Sony Ericsson Mobile Communications Ab Mobile phone with directional force feedback and method
US20090284478A1 (en) 2008-05-15 2009-11-19 Microsoft Corporation Multi-Contact and Single-Contact Input
EP2283421B1 (en) 2008-05-20 2019-08-14 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device
US7958447B2 (en) 2008-05-23 2011-06-07 International Business Machines Corporation Method and system for page navigating user interfaces for electronic devices
US20090295739A1 (en) 2008-05-27 2009-12-03 Wes Albert Nagara Haptic tactile precision selection
US8314859B2 (en) 2008-05-29 2012-11-20 Lg Electronics Inc. Mobile terminal and image capturing method thereof
DE602008005865D1 (de) 2008-05-29 2011-05-12 Lg Electronics Inc Transparente Anzeige und Betriebsverfahren dafür
JP5287855B2 (ja) 2008-06-04 2013-09-11 富士通株式会社 情報処理装置および入力制御方法
US8099332B2 (en) 2008-06-06 2012-01-17 Apple Inc. User interface for application management for a mobile device
US20090307633A1 (en) 2008-06-06 2009-12-10 Apple Inc. Acceleration navigation of media device displays
KR101498623B1 (ko) 2008-06-25 2015-03-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US8174372B2 (en) 2008-06-26 2012-05-08 Immersion Corporation Providing haptic feedback on a touch surface
US8254902B2 (en) 2008-06-26 2012-08-28 Apple Inc. Apparatus and methods for enforcement of policies upon a wireless device
JP4896932B2 (ja) 2008-06-26 2012-03-14 京セラ株式会社 入力装置
WO2009155981A1 (en) 2008-06-26 2009-12-30 Uiq Technology Ab Gesture on touch sensitive arrangement
US8504946B2 (en) 2008-06-27 2013-08-06 Apple Inc. Portable device, method, and graphical user interface for automatically scrolling to display the top of an electronic document
WO2009158549A2 (en) 2008-06-28 2009-12-30 Apple Inc. Radial menu selection
JP4938733B2 (ja) 2008-06-30 2012-05-23 株式会社ソニー・コンピュータエンタテインメント メニュー画面表示方法およびメニュー画面表示装置
US8477228B2 (en) * 2008-06-30 2013-07-02 Verizon Patent And Licensing Inc. Camera data management and user interface apparatuses, systems, and methods
KR101540779B1 (ko) 2008-07-01 2015-07-29 엘지전자 주식회사 휴대 단말기 및 그 제어방법
EP2141574B1 (en) 2008-07-01 2017-09-27 LG Electronics Inc. Mobile terminal using proximity sensor and method of controlling the mobile terminal
US20100013613A1 (en) 2008-07-08 2010-01-21 Jonathan Samuel Weston Haptic feedback projection system
US10095375B2 (en) 2008-07-09 2018-10-09 Apple Inc. Adding a contact to a home screen
JP4198190B1 (ja) 2008-07-11 2008-12-17 任天堂株式会社 画像通信システム、画像通信装置、および画像通信プログラム
US20110132172A1 (en) 2008-07-15 2011-06-09 Gueneux Roland Raphael Conductor centric electronic music stand system
KR101690469B1 (ko) 2008-07-15 2016-12-27 임머숀 코퍼레이션 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법, 및 비일시적인 컴퓨터 판독가능 매체
US8274484B2 (en) 2008-07-18 2012-09-25 Microsoft Corporation Tracking input in a screen-reflective interface environment
KR101495559B1 (ko) 2008-07-21 2015-02-27 삼성전자주식회사 사용자 명령 입력 방법 및 그 장치
KR20100010302A (ko) 2008-07-22 2010-02-01 엘지전자 주식회사 이동단말기 및 그 메뉴 표시방법
US9176620B2 (en) 2008-07-22 2015-11-03 Lg Electronics Inc. Mobile terminal and method for displaying information list thereof
KR20100010860A (ko) 2008-07-23 2010-02-02 엘지전자 주식회사 이동 단말기 및 그의 이벤트 제어방법
US20100220065A1 (en) 2009-02-27 2010-09-02 Research In Motion Limited Touch-sensitive display including a force-sensor and portable electronic device including same
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5100556B2 (ja) 2008-07-30 2012-12-19 キヤノン株式会社 情報処理方法及び装置
US10983665B2 (en) 2008-08-01 2021-04-20 Samsung Electronics Co., Ltd. Electronic apparatus and method for implementing user interface
US9280286B2 (en) 2008-08-07 2016-03-08 International Business Machines Corporation Managing GUI control auto-advancing
US8604364B2 (en) 2008-08-15 2013-12-10 Lester F. Ludwig Sensors, algorithms and applications for a high dimensional touchpad
JP4600548B2 (ja) 2008-08-27 2010-12-15 ソニー株式会社 再生装置、再生方法、およびプログラム
US10375223B2 (en) 2008-08-28 2019-08-06 Qualcomm Incorporated Notifying a user of events in a computing device
KR101505681B1 (ko) 2008-09-05 2015-03-30 엘지전자 주식회사 터치 스크린을 구비한 이동 단말기 및 이를 이용한 이미지 촬상 방법
US8913176B2 (en) 2008-09-05 2014-12-16 Lg Electronics Inc. Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
JP4636146B2 (ja) 2008-09-05 2011-02-23 ソニー株式会社 画像処理方法、画像処理装置、プログラム及び画像処理システム
KR101482125B1 (ko) 2008-09-09 2015-01-13 엘지전자 주식회사 휴대 단말기 및 그 동작방법
US20100277496A1 (en) 2008-09-16 2010-11-04 Ryouichi Kawanishi Data display device, integrated circuit, data display method, data display program, and recording medium
EP2330485A4 (en) 2008-09-17 2014-08-06 Nec Corp INPUT UNIT, METHOD FOR CONTROLLING IT AND EQUIPPED WITH THE INPUT DEVICE ELECTRONIC DEVICE
US8000694B2 (en) 2008-09-18 2011-08-16 Apple Inc. Communications device having a commute time function and methods of use thereof
US9041650B2 (en) 2008-09-18 2015-05-26 Apple Inc. Using measurement of lateral force for a tracking input device
US20100070908A1 (en) 2008-09-18 2010-03-18 Sun Microsystems, Inc. System and method for accepting or rejecting suggested text corrections
US8769427B2 (en) 2008-09-19 2014-07-01 Google Inc. Quick gesture input
KR101451667B1 (ko) 2008-09-24 2014-10-16 엘지전자 주식회사 단말기 및 그 제어 방법
CN101685370A (zh) 2008-09-26 2010-03-31 联想(北京)有限公司 一种进行浏览控制的方法、装置及电子设备
US8359547B2 (en) 2008-10-01 2013-01-22 Nintendo Co., Ltd. Movable user interface indicator of at least one parameter that is adjustable with different operations for increasing and decreasing the parameter and/or methods of providing the same
US8462107B2 (en) 2008-10-03 2013-06-11 International Business Machines Corporation Pointing device and method with error prevention features
EP3654141A1 (en) 2008-10-06 2020-05-20 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
US20100088628A1 (en) 2008-10-07 2010-04-08 Sony Ericsson Mobile Communications Ab Live preview of open windows
US9442648B2 (en) 2008-10-07 2016-09-13 Blackberry Limited Portable electronic device and method of controlling same
US20100088654A1 (en) 2008-10-08 2010-04-08 Research In Motion Limited Electronic device having a state aware touchscreen
EP2175357B1 (en) 2008-10-08 2012-11-21 Research In Motion Limited Portable electronic device and method of controlling same
EP2175343A1 (en) 2008-10-08 2010-04-14 Research in Motion Limited A method and handheld electronic device having a graphical user interface which arranges icons dynamically
US20100085314A1 (en) 2008-10-08 2010-04-08 Research In Motion Limited Portable electronic device and method of controlling same
US9395867B2 (en) 2008-10-08 2016-07-19 Blackberry Limited Method and system for displaying an image on an electronic device
JP2010097353A (ja) 2008-10-15 2010-04-30 Access Co Ltd 情報端末
KR100941512B1 (ko) 2008-10-15 2010-02-10 (주)엠쓰리모바일 스타일러스 펜
KR100961473B1 (ko) 2008-10-15 2010-06-08 주식회사 케이티 무선 인터넷 브라우저의 웹 페이지 내용을 메시징하는 이동단말 및 그 방법
KR101510738B1 (ko) 2008-10-20 2015-04-10 삼성전자주식회사 휴대단말의 대기화면 구성 방법 및 장치
US8497690B2 (en) 2008-10-27 2013-07-30 Microchip Technology Incorporated Automated capacitive touch scan
KR101569176B1 (ko) 2008-10-30 2015-11-20 삼성전자주식회사 오브젝트 실행 방법 및 장치
JP5540344B2 (ja) 2008-10-30 2014-07-02 シャープ株式会社 電子機器、メニューの選択方法、メニューの選択プログラム
US20100110082A1 (en) 2008-10-31 2010-05-06 John David Myrick Web-Based Real-Time Animation Visualization, Creation, And Distribution
CN101727268A (zh) 2008-11-03 2010-06-09 英业达股份有限公司 手持式电子装置与其程序显示切换方法
US8704775B2 (en) 2008-11-11 2014-04-22 Adobe Systems Incorporated Biometric adjustments for touchscreens
EP2187290A1 (en) 2008-11-18 2010-05-19 Studer Professional Audio GmbH Input device and method of detecting a user input with an input device
JP4752900B2 (ja) 2008-11-19 2011-08-17 ソニー株式会社 画像処理装置、画像表示方法および画像表示プログラム
US20100123686A1 (en) 2008-11-19 2010-05-20 Sony Ericsson Mobile Communications Ab Piezoresistive force sensor integrated in a display
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
EP2368170B1 (en) 2008-11-26 2017-11-01 BlackBerry Limited Touch-sensitive display method and apparatus
US20100138776A1 (en) 2008-11-30 2010-06-03 Nokia Corporation Flick-scrolling
DE112009003521T5 (de) 2008-12-04 2013-10-10 Mitsubishi Electric Corp. Anzeigeeingabevorrichtung
US8677287B2 (en) 2008-12-04 2014-03-18 Mitsubishi Electric Corporation Display input device and navigation device
US8638311B2 (en) 2008-12-08 2014-01-28 Samsung Electronics Co., Ltd. Display device and data displaying method thereof
JP2010165337A (ja) 2008-12-15 2010-07-29 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8707170B2 (en) 2008-12-15 2014-04-22 Hewlett-Packard Development Company, L.P. Gesture based edit mode
US8711011B2 (en) 2008-12-16 2014-04-29 Dell Products, Lp Systems and methods for implementing pressure sensitive keyboards
US9246487B2 (en) 2008-12-16 2016-01-26 Dell Products Lp Keyboard with user configurable granularity scales for pressure sensitive keys
US20100149096A1 (en) 2008-12-17 2010-06-17 Migos Charles J Network management using interaction with display surface
KR101352264B1 (ko) 2008-12-18 2014-01-17 엘지디스플레이 주식회사 멀티 터치 감지방법 및 장치
CN103488417A (zh) 2008-12-18 2014-01-01 日本电气株式会社 滑动条显示控制装置以及滑动条显示控制方法
US8289286B2 (en) 2008-12-19 2012-10-16 Verizon Patent And Licensing Inc. Zooming keyboard/keypad
US8331992B2 (en) 2008-12-19 2012-12-11 Verizon Patent And Licensing Inc. Interactive locked state mobile communication device
US8547342B2 (en) 2008-12-22 2013-10-01 Verizon Patent And Licensing Inc. Gesture-based delivery from mobile device
JP4975722B2 (ja) 2008-12-22 2012-07-11 京セラ株式会社 入力装置および入力装置の制御方法
US8453057B2 (en) 2008-12-22 2013-05-28 Verizon Patent And Licensing Inc. Stage interaction for mobile device
US8451236B2 (en) 2008-12-22 2013-05-28 Hewlett-Packard Development Company L.P. Touch-sensitive display screen with absolute and relative input modes
EP2202619A1 (en) 2008-12-23 2010-06-30 Research In Motion Limited Portable electronic device including tactile touch-sensitive input device and method of controlling same
US20100156823A1 (en) 2008-12-23 2010-06-24 Research In Motion Limited Electronic device including touch-sensitive display and method of controlling same to provide tactile feedback
US8686952B2 (en) 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
JP4746085B2 (ja) 2008-12-25 2011-08-10 京セラ株式会社 入力装置
JP4885938B2 (ja) 2008-12-25 2012-02-29 京セラ株式会社 入力装置
JP4683126B2 (ja) 2008-12-26 2011-05-11 ブラザー工業株式会社 入力装置
EP2288144A4 (en) 2008-12-30 2012-08-29 Lg Electronics Inc IMAGE DISPLAY AND CONTROL METHOD THEREOF
US8219927B2 (en) 2009-01-06 2012-07-10 Microsoft Corporation Revealing of truncated content on scrollable grid
US8446376B2 (en) 2009-01-13 2013-05-21 Microsoft Corporation Visual response to touch inputs
US20100180136A1 (en) 2009-01-15 2010-07-15 Validity Sensors, Inc. Ultra Low Power Wake-On-Event Mode For Biometric Systems
JP2010171748A (ja) * 2009-01-23 2010-08-05 Casio Computer Co Ltd 撮像装置、及び撮像制御プログラム
JP2010176174A (ja) 2009-01-27 2010-08-12 Fujifilm Corp 電子機器および電子機器の操作入力制御方法、並びに電子機器の操作入力制御プログラム
JP5173870B2 (ja) 2009-01-28 2013-04-03 京セラ株式会社 入力装置
EP2214087B1 (en) 2009-01-30 2015-07-08 BlackBerry Limited A handheld electronic device having a touchscreen and a method of using a touchscreen of a handheld electronic device
JP5261217B2 (ja) * 2009-01-30 2013-08-14 キヤノン株式会社 表示装置および表示方法
US20100194693A1 (en) 2009-01-30 2010-08-05 Sony Ericsson Mobile Communications Ab Electronic apparatus, method and computer program with adaptable user interface environment
JP5174704B2 (ja) 2009-02-03 2013-04-03 株式会社ゼンリンデータコム 画像処理装置および画像処理方法
JP4723656B2 (ja) 2009-02-03 2011-07-13 京セラ株式会社 入力装置
US9152292B2 (en) 2009-02-05 2015-10-06 Hewlett-Packard Development Company, L.P. Image collage authoring
US9176747B2 (en) 2009-02-17 2015-11-03 Sandisk Il Ltd. User-application interface
US20100214239A1 (en) 2009-02-23 2010-08-26 Compal Electronics, Inc. Method and touch panel for providing tactile feedback
JP2010199688A (ja) 2009-02-23 2010-09-09 Nikon Corp 画像表示装置
DE102009010277A1 (de) 2009-02-24 2010-09-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Eingabevorrichtung und Verfahren zum Bereitstellen eines einer Sensorfeldbelegung zugeordneten Ausgangssignals
JP5734546B2 (ja) 2009-02-25 2015-06-17 京セラ株式会社 オブジェクト表示装置
CN101498979B (zh) 2009-02-26 2010-12-29 苏州瀚瑞微电子有限公司 利用电容式触摸屏实现虚拟键盘的方法
US20100214135A1 (en) 2009-02-26 2010-08-26 Microsoft Corporation Dynamic rear-projected user interface
KR100993064B1 (ko) 2009-03-02 2010-11-08 주식회사 팬택 터치 스크린 적용 음원 재생 장치에서의 음원 선택 재생 방법
US8077021B2 (en) 2009-03-03 2011-12-13 Empire Technology Development Llc Dynamic tactile interface
JP5267229B2 (ja) 2009-03-09 2013-08-21 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP5157969B2 (ja) 2009-03-09 2013-03-06 ソニー株式会社 情報処理装置、閾値設定方法及びそのプログラム
US8990235B2 (en) 2009-03-12 2015-03-24 Google Inc. Automatically providing content associated with captured information, such as information captured in real-time
KR101796888B1 (ko) 2009-03-12 2017-11-10 임머숀 코퍼레이션 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체
EP2406704A1 (en) 2009-03-12 2012-01-18 Immersion Corporation Systems and methods for a texture engine
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US8572513B2 (en) 2009-03-16 2013-10-29 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US8370736B2 (en) 2009-03-16 2013-02-05 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US9262071B2 (en) 2009-03-16 2016-02-16 Microsoft Technology Licensing, Llc Direct manipulation of content
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US9852761B2 (en) 2009-03-16 2017-12-26 Apple Inc. Device, method, and graphical user interface for editing an audio or video attachment in an electronic message
US8589374B2 (en) 2009-03-16 2013-11-19 Apple Inc. Multifunction device with integrated search and application selection
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
KR101549558B1 (ko) 2009-03-18 2015-09-03 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US20100241955A1 (en) 2009-03-23 2010-09-23 Microsoft Corporation Organization and manipulation of content items on a touch-sensitive display
WO2010109849A1 (ja) 2009-03-23 2010-09-30 パナソニック株式会社 情報処理装置、情報処理方法、記録媒体、及び集積回路
JP5252378B2 (ja) 2009-03-26 2013-07-31 ヤマハ株式会社 ミキサ装置のウィンドウ制御方法、ミキサ装置、およびミキサ装置のウィンドウ制御プログラム
US8175653B2 (en) 2009-03-30 2012-05-08 Microsoft Corporation Chromeless user interface
JP5282627B2 (ja) 2009-03-30 2013-09-04 ソニー株式会社 電子機器、表示制御方法およびプログラム
US8355698B2 (en) 2009-03-30 2013-01-15 Microsoft Corporation Unlock screen
JP4904375B2 (ja) 2009-03-31 2012-03-28 京セラ株式会社 ユーザインタフェース装置及び携帯端末装置
DE102009015991A1 (de) 2009-04-02 2010-10-07 Pi Ceramic Gmbh Keramische Technologien Und Bauelemente Vorrichtung zur Erzeugung einer haptischen Rückmeldung einer tastenlosen Eingabeeinheit
US9189124B2 (en) 2009-04-15 2015-11-17 Wyse Technology L.L.C. Custom pointer features for touch-screen on remote client devices
US20100271312A1 (en) 2009-04-22 2010-10-28 Rachid Alameh Menu Configuration System and Method for Display on an Electronic Device
JP5325979B2 (ja) 2009-04-24 2013-10-23 京セラ株式会社 入力装置
JP4801228B2 (ja) 2009-04-24 2011-10-26 京セラ株式会社 入力装置
KR20100118458A (ko) 2009-04-28 2010-11-05 엘지전자 주식회사 이미지 처리 방법 및 이를 적용한 카메라가 장착된 이동 통신 단말기
US9354795B2 (en) 2009-04-29 2016-05-31 Lenovo (Singapore) Pte. Ltd Refining manual input interpretation on touch surfaces
US8418082B2 (en) 2009-05-01 2013-04-09 Apple Inc. Cross-track edit indicators and edit selections
US8627207B2 (en) 2009-05-01 2014-01-07 Apple Inc. Presenting an editing tool in a composite display area
US8739055B2 (en) 2009-05-07 2014-05-27 Microsoft Corporation Correction of typographical errors on touch displays
US8669945B2 (en) 2009-05-07 2014-03-11 Microsoft Corporation Changing of list views on mobile device
US20100293460A1 (en) 2009-05-14 2010-11-18 Budelli Joe G Text selection method and system based on gestures
US8427503B2 (en) 2009-05-18 2013-04-23 Nokia Corporation Method, apparatus and computer program product for creating graphical objects with desired physical features for usage in animation
KR101613838B1 (ko) 2009-05-19 2016-05-02 삼성전자주식회사 휴대 단말기의 홈 스크린 지원 방법 및 이를 지원하는 휴대 단말기
KR101640463B1 (ko) 2009-05-19 2016-07-18 삼성전자 주식회사 휴대 단말기의 운용 방법 및 이를 지원하는 휴대 단말기
KR101601040B1 (ko) 2009-05-19 2016-03-09 삼성전자주식회사 휴대 단말기의 화면 표시 방법 및 이를 지원하는 휴대 단말기
US8473862B1 (en) 2009-05-21 2013-06-25 Perceptive Pixel Inc. Organizational tools on a multi-touch display device
US20140078318A1 (en) 2009-05-22 2014-03-20 Motorola Mobility Llc Electronic Device with Sensing Assembly and Method for Interpreting Consecutive Gestures
KR101560718B1 (ko) 2009-05-29 2015-10-15 엘지전자 주식회사 이동 단말기 및 이동 단말기에서의 정보 표시 방법
US9148618B2 (en) 2009-05-29 2015-09-29 Apple Inc. Systems and methods for previewing newly captured image content and reviewing previously stored image content
US8549432B2 (en) 2009-05-29 2013-10-01 Apple Inc. Radial menus
KR20100129424A (ko) 2009-06-01 2010-12-09 한국표준과학연구원 터치스크린의 접촉위치 및 접촉힘의 세기를 이용한 사용자 인터페이스 제공 방법 및 장치
US9372536B2 (en) 2009-06-05 2016-06-21 Empire Technology Development Llc Touch screen with tactile feedback
US9086875B2 (en) 2009-06-05 2015-07-21 Qualcomm Incorporated Controlling power consumption of a mobile device based on gesture recognition
US9009612B2 (en) 2009-06-07 2015-04-14 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US20100313158A1 (en) 2009-06-08 2010-12-09 Lg Electronics Inc. Method for editing data in mobile terminal and mobile terminal using the same
US9405456B2 (en) 2009-06-08 2016-08-02 Xerox Corporation Manipulation of displayed objects by virtual magnetism
US8621387B2 (en) 2009-06-08 2013-12-31 Apple Inc. User interface for multiple display regions
US8732592B2 (en) * 2009-06-08 2014-05-20 Battelle Energy Alliance, Llc Methods and systems relating to an augmented virtuality environment
US8823749B2 (en) 2009-06-10 2014-09-02 Qualcomm Incorporated User interface methods providing continuous zoom functionality
KR101598335B1 (ko) 2009-06-11 2016-02-29 엘지전자 주식회사 휴대 단말기 및 그 동작방법
US8593415B2 (en) 2009-06-19 2013-11-26 Lg Electronics Inc. Method for processing touch signal in mobile terminal and mobile terminal using the same
US9330503B2 (en) 2009-06-19 2016-05-03 Microsoft Technology Licensing, Llc Presaging and surfacing interactivity within data visualizations
CN101609380A (zh) 2009-06-23 2009-12-23 苏州瀚瑞微电子有限公司 一种在触摸屏上文件操作的方法
WO2010150893A1 (ja) 2009-06-26 2010-12-29 京セラ株式会社 通信機器及び電子機器
US20100328229A1 (en) 2009-06-30 2010-12-30 Research In Motion Limited Method and apparatus for providing tactile feedback
JP5370754B2 (ja) 2009-06-30 2013-12-18 ソニー株式会社 入力装置および入力方法
CN105260110A (zh) 2009-07-03 2016-01-20 泰克图斯科技公司 用户界面增强系统
JP5531467B2 (ja) * 2009-07-03 2014-06-25 ソニー株式会社 撮像装置、および画像処理方法、並びにプログラム
US20110010626A1 (en) 2009-07-09 2011-01-13 Jorge Fino Device and Method for Adjusting a Playback Control with a Finger Gesture
KR101608764B1 (ko) 2009-07-14 2016-04-04 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
WO2011011025A1 (en) 2009-07-24 2011-01-27 Research In Motion Limited Method and apparatus for a touch-sensitive display
JP2011028635A (ja) 2009-07-28 2011-02-10 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム
JP5197521B2 (ja) 2009-07-29 2013-05-15 京セラ株式会社 入力装置
US9740340B1 (en) 2009-07-31 2017-08-22 Amazon Technologies, Inc. Visually consistent arrays including conductive mesh
KR101276749B1 (ko) 2009-08-03 2013-06-19 엘지디스플레이 주식회사 전기영동 표시장치 및 그 제조 방법
CN101630230A (zh) 2009-08-04 2010-01-20 苏州瀚瑞微电子有限公司 感应量控制缩放倍率的方法
JP5398408B2 (ja) 2009-08-07 2014-01-29 オリンパスイメージング株式会社 カメラ、カメラの制御方法、表示制御装置、および表示制御方法
KR101608532B1 (ko) 2009-08-11 2016-04-01 엘지전자 주식회사 이동 통신 단말기에서의 데이터 표시방법 및 이를 적용한 이동 통신 단말기
US20110039602A1 (en) 2009-08-13 2011-02-17 Mcnamara Justin Methods And Systems For Interacting With Content On A Mobile Device
US8243983B2 (en) 2009-08-14 2012-08-14 Microsoft Corporation Graphically encoded data copy and paste
US20110037706A1 (en) 2009-08-14 2011-02-17 Research In Motion Limited Electronic device including tactile touch-sensitive input device and method of controlling same
JP5436975B2 (ja) 2009-08-21 2014-03-05 オリンパスイメージング株式会社 カメラ、カメラの表示制御方法、表示装置、及び表示方法
US8434153B2 (en) 2009-08-24 2013-04-30 Microsoft Corporation Application display on a locked device
JP2011048023A (ja) 2009-08-25 2011-03-10 Pioneer Electronic Corp 体感振動生成装置および体感振動生成方法
US20110055135A1 (en) 2009-08-26 2011-03-03 International Business Machines Corporation Deferred Teleportation or Relocation in Virtual Worlds
JP2011048669A (ja) 2009-08-27 2011-03-10 Kyocera Corp 入力装置
JP2011048686A (ja) 2009-08-27 2011-03-10 Kyocera Corp 入力装置
US8363020B2 (en) 2009-08-27 2013-01-29 Symbol Technologies, Inc. Methods and apparatus for pressure-based manipulation of content on a touch screen
JP5310389B2 (ja) 2009-08-27 2013-10-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP5304544B2 (ja) 2009-08-28 2013-10-02 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP5593655B2 (ja) 2009-08-31 2014-09-24 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8390583B2 (en) 2009-08-31 2013-03-05 Qualcomm Incorporated Pressure sensitive user interface for mobile devices
JP5267388B2 (ja) 2009-08-31 2013-08-21 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20110023977A (ko) 2009-09-01 2011-03-09 삼성전자주식회사 휴대단말기의 위젯 관리 방법 및 장치
US8451238B2 (en) 2009-09-02 2013-05-28 Amazon Technologies, Inc. Touch-screen user interface
CN102576251B (zh) 2009-09-02 2015-09-02 亚马逊技术股份有限公司 触摸屏用户界面
JP2011053971A (ja) 2009-09-02 2011-03-17 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5182260B2 (ja) 2009-09-02 2013-04-17 ソニー株式会社 操作制御装置、操作制御方法およびコンピュータプログラム
JP2011053974A (ja) 2009-09-02 2011-03-17 Sony Corp 操作制御装置、操作制御方法およびコンピュータプログラム
US9262063B2 (en) 2009-09-02 2016-02-16 Amazon Technologies, Inc. Touch-screen user interface
JP5310403B2 (ja) 2009-09-02 2013-10-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
TW201109990A (en) 2009-09-04 2011-03-16 Higgstec Inc Touch gesture detecting method of a touch panel
JP5278259B2 (ja) 2009-09-07 2013-09-04 ソニー株式会社 入力装置、入力方法及びプログラム
KR101150545B1 (ko) * 2009-09-07 2012-06-11 주식회사 팬택앤큐리텔 이동통신단말기 및 그것의 화면 전환 방법
KR101691823B1 (ko) 2009-09-09 2017-01-02 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
EP2302496A1 (en) 2009-09-10 2011-03-30 Research In Motion Limited Dynamic sizing of identifier on a touch-sensitive display
US20110057886A1 (en) 2009-09-10 2011-03-10 Oliver Ng Dynamic sizing of identifier on a touch-sensitive display
JP5218353B2 (ja) 2009-09-14 2013-06-26 ソニー株式会社 情報処理装置、表示方法及びプログラム
KR20110028834A (ko) 2009-09-14 2011-03-22 삼성전자주식회사 터치스크린을 구비한 휴대 단말기의 터치 압력을 이용한 사용자 인터페이스 제공 방법 및 장치
US8264471B2 (en) 2009-09-22 2012-09-11 Sony Mobile Communications Ab Miniature character input mechanism
EP2480957B1 (en) 2009-09-22 2017-08-09 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
JP5393377B2 (ja) 2009-09-25 2014-01-22 京セラ株式会社 入力装置
US8421762B2 (en) 2009-09-25 2013-04-16 Apple Inc. Device, method, and graphical user interface for manipulation of user interface objects with activation regions
US8780055B2 (en) 2009-10-02 2014-07-15 Blackberry Limited Low power wakeup detection circuit and a portable electronic device having a low power wakeup detection circuit
US8970507B2 (en) 2009-10-02 2015-03-03 Blackberry Limited Method of waking up and a portable electronic device configured to perform the same
US8436806B2 (en) 2009-10-02 2013-05-07 Research In Motion Limited Method of synchronizing data acquisition and a portable electronic device configured to perform the same
US9141260B2 (en) 2009-10-08 2015-09-22 Red Hat, Inc. Workspace management tool
US20110084910A1 (en) 2009-10-13 2011-04-14 Research In Motion Limited Portable electronic device including touch-sensitive display and method of controlling same
KR101092592B1 (ko) 2009-10-14 2011-12-13 주식회사 팬택 이동통신단말기 및 이의 터치 인터페이스 제공 방법
US10068728B2 (en) 2009-10-15 2018-09-04 Synaptics Incorporated Touchpad with capacitive force sensing
CA2680602C (en) 2009-10-19 2011-07-26 Ibm Canada Limited - Ibm Canada Limitee System and method for generating and displaying hybrid context menus
KR20110047349A (ko) 2009-10-30 2011-05-09 주식회사 팬택 휴대용 단말기에서 터치와 가압을 이용하는 사용자 인터페이스 장치 및 방법
US20110102829A1 (en) 2009-10-30 2011-05-05 Jourdan Arlene T Image size warning
US8677284B2 (en) 2009-11-04 2014-03-18 Alpine Electronics, Inc. Method and apparatus for controlling and displaying contents in a user interface
JP5328611B2 (ja) 2009-11-05 2013-10-30 シャープ株式会社 携帯情報端末
US20110109617A1 (en) 2009-11-12 2011-05-12 Microsoft Corporation Visualizing Depth
KR101725888B1 (ko) * 2009-11-13 2017-04-13 삼성전자주식회사 카메라 또는 원격 제어 장치에서의 이미지 제공 방법 및 그 장치
JP2011107823A (ja) 2009-11-13 2011-06-02 Canon Inc 表示制御装置及び表示制御方法
AU2010320034B2 (en) 2009-11-13 2015-02-12 Google Llc Live wallpaper
KR101611440B1 (ko) * 2009-11-16 2016-04-11 삼성전자주식회사 이미지 처리 방법 및 장치
US8432367B2 (en) 2009-11-19 2013-04-30 Google Inc. Translating user interaction with a touch screen into input commands
US8665227B2 (en) 2009-11-19 2014-03-04 Motorola Mobility Llc Method and apparatus for replicating physical key function with soft keys in an electronic device
KR101620058B1 (ko) 2009-11-23 2016-05-24 삼성전자주식회사 가상 머신 간 화면 전환 장치 및 방법
KR101073309B1 (ko) 2009-11-24 2011-10-12 삼성모바일디스플레이주식회사 터치 스크린 시스템 및 그 구동방법
US8799816B2 (en) 2009-12-07 2014-08-05 Motorola Mobility Llc Display interface and method for displaying multiple items arranged in a sequence
US8769428B2 (en) 2009-12-09 2014-07-01 Citrix Systems, Inc. Methods and systems for generating a combined display of taskbar button group entries generated on a local machine and on a remote machine
US8633916B2 (en) 2009-12-10 2014-01-21 Apple, Inc. Touch pad with force sensors and actuator feedback
US9557735B2 (en) 2009-12-10 2017-01-31 Fisher-Rosemount Systems, Inc. Methods and apparatus to manage process control status rollups
JP5490508B2 (ja) 2009-12-11 2014-05-14 京セラ株式会社 タッチセンサを有する装置、触感呈示方法及び触感呈示プログラム
US8358281B2 (en) 2009-12-15 2013-01-22 Apple Inc. Device, method, and graphical user interface for management and manipulation of user interface elements
US8381125B2 (en) 2009-12-16 2013-02-19 Apple Inc. Device and method for resizing user interface content while maintaining an aspect ratio via snapping a perimeter to a gridline
US20110154199A1 (en) 2009-12-17 2011-06-23 Flying Car Ltd. Method of Playing An Enriched Audio File
US9489073B2 (en) 2009-12-21 2016-11-08 Promethean Limited Multi-point contacts with pressure data on an interactive surface
US8274592B2 (en) 2009-12-22 2012-09-25 Eastman Kodak Company Variable rate browsing of an image collection
KR20110074024A (ko) 2009-12-24 2011-06-30 삼성전자주식회사 멀티미디어 기기
US20110167339A1 (en) 2010-01-06 2011-07-07 Lemay Stephen O Device, Method, and Graphical User Interface for Attachment Viewing and Editing
US8793611B2 (en) 2010-01-06 2014-07-29 Apple Inc. Device, method, and graphical user interface for manipulating selectable user interface objects
US8698845B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface with interactive popup views
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US8525839B2 (en) 2010-01-06 2013-09-03 Apple Inc. Device, method, and graphical user interface for providing digital content products
US8438504B2 (en) 2010-01-06 2013-05-07 Apple Inc. Device, method, and graphical user interface for navigating through multiple viewing areas
US8862576B2 (en) 2010-01-06 2014-10-14 Apple Inc. Device, method, and graphical user interface for mapping directions between search results
KR101616875B1 (ko) 2010-01-07 2016-05-02 삼성전자주식회사 터치 패널 및 이를 구비한 전자기기
US9053098B2 (en) 2010-01-14 2015-06-09 Abbyy Development Llc Insertion of translation in displayed text consisting of grammatical variations pertaining to gender, number and tense
US20110175826A1 (en) 2010-01-15 2011-07-21 Bradford Allen Moore Automatically Displaying and Hiding an On-screen Keyboard
US9715332B1 (en) 2010-08-26 2017-07-25 Cypress Lake Software, Inc. Methods, systems, and computer program products for navigating between visual components
JP2011170834A (ja) 2010-01-19 2011-09-01 Sony Corp 情報処理装置、操作予測方法及び操作予測プログラム
US10007393B2 (en) 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
JP5636678B2 (ja) 2010-01-19 2014-12-10 ソニー株式会社 表示制御装置、表示制御方法及び表示制御プログラム
US20110179381A1 (en) 2010-01-21 2011-07-21 Research In Motion Limited Portable electronic device and method of controlling same
KR101304321B1 (ko) 2010-01-22 2013-09-11 전자부품연구원 싱글 터치 압력에 기반한 ui 제공방법 및 이를 적용한 전자기기
US8914732B2 (en) 2010-01-22 2014-12-16 Lg Electronics Inc. Displaying home screen profiles on a mobile terminal
US8683363B2 (en) 2010-01-26 2014-03-25 Apple Inc. Device, method, and graphical user interface for managing user interface content and user interface elements
JP2011176794A (ja) 2010-01-26 2011-09-08 Canon Inc 撮像装置及び撮像方法
US20110181521A1 (en) 2010-01-26 2011-07-28 Apple Inc. Techniques for controlling z-ordering in a user interface
JP5635274B2 (ja) 2010-01-27 2014-12-03 京セラ株式会社 触感呈示装置および触感呈示方法
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US20110185299A1 (en) 2010-01-28 2011-07-28 Microsoft Corporation Stamp Gestures
US10397639B1 (en) 2010-01-29 2019-08-27 Sitting Man, Llc Hot key systems and methods
US20110191675A1 (en) 2010-02-01 2011-08-04 Nokia Corporation Sliding input user interface
US8988367B2 (en) 2010-02-05 2015-03-24 Broadcom Corporation Systems and methods for providing enhanced touch sensing
US20110193881A1 (en) 2010-02-05 2011-08-11 Sony Ericsson Mobile Communications Ab Regulation of navigation speed among displayed items and tilt angle thereof responsive to user applied pressure
US8839150B2 (en) 2010-02-10 2014-09-16 Apple Inc. Graphical objects that respond to touch or motion input
KR101673918B1 (ko) 2010-02-11 2016-11-09 삼성전자주식회사 휴대단말에서 복수의 정보들을 제공하는 방법 및 장치
US9417787B2 (en) 2010-02-12 2016-08-16 Microsoft Technology Licensing, Llc Distortion effects to indicate location in a movable data collection
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
KR101690786B1 (ko) 2010-02-12 2016-12-28 삼성전자주식회사 멀티태스킹 수행 장치 및 방법
EP2362615A1 (en) 2010-02-15 2011-08-31 Research In Motion Limited Method, program and system for displaying a contact object icon and corresponding contact's status on one or more communications services in a display of a mobile communications device
US20110202879A1 (en) 2010-02-15 2011-08-18 Research In Motion Limited Graphical context short menu
JP2011170538A (ja) 2010-02-17 2011-09-01 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011197848A (ja) 2010-03-18 2011-10-06 Rohm Co Ltd タッチパネル入力装置
US9965165B2 (en) 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US8799827B2 (en) 2010-02-19 2014-08-05 Microsoft Corporation Page manipulations using on and off-screen gestures
US9310994B2 (en) 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US9274682B2 (en) 2010-02-19 2016-03-01 Microsoft Technology Licensing, Llc Off-screen gestures to create on-screen input
EP2360507B1 (en) 2010-02-22 2014-11-05 DST Innovations Limited Display elements
US20130328770A1 (en) 2010-02-23 2013-12-12 Muv Interactive Ltd. System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US10175878B2 (en) 2010-02-23 2019-01-08 Kyocera Corporation Electronic apparatus
CN101798979B (zh) 2010-02-24 2011-12-14 力帆实业(集团)股份有限公司 进气歧管及燃油喷嘴安装系统
US8751970B2 (en) 2010-02-25 2014-06-10 Microsoft Corporation Multi-screen synchronous slide gesture
JPWO2011105091A1 (ja) 2010-02-26 2013-06-20 日本電気株式会社 制御装置、管理装置、制御装置のデータ処理方法、およびプログラム
US9535500B2 (en) 2010-03-01 2017-01-03 Blackberry Limited Method of providing tactile feedback and apparatus
EP2363790A1 (en) 2010-03-01 2011-09-07 Research In Motion Limited Method of providing tactile feedback and apparatus
US9361018B2 (en) 2010-03-01 2016-06-07 Blackberry Limited Method of providing tactile feedback and apparatus
KR101161943B1 (ko) 2010-03-04 2012-07-04 삼성전기주식회사 햅틱 피드백 디바이스 및 전자 장치
JP5413250B2 (ja) * 2010-03-05 2014-02-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8941600B2 (en) 2010-03-05 2015-01-27 Mckesson Financial Holdings Apparatus for providing touch feedback for user input to a touch sensitive surface
US20110221684A1 (en) 2010-03-11 2011-09-15 Sony Ericsson Mobile Communications Ab Touch-sensitive input device, mobile device and method for operating a touch-sensitive input device
JP2011192215A (ja) 2010-03-16 2011-09-29 Kyocera Corp 文字入力装置、文字入力方法及び文字入力プログラム
JP2011192179A (ja) 2010-03-16 2011-09-29 Kyocera Corp 文字入力装置、文字入力方法及び文字入力プログラム
JP5722877B2 (ja) 2010-03-18 2015-05-27 京セラ株式会社 電子機器
US8756522B2 (en) 2010-03-19 2014-06-17 Blackberry Limited Portable electronic device and method of controlling same
CA2734427C (en) 2010-03-19 2018-05-08 Xavier Pierre-Emmanuel Saynac Systems and methods for determining the location and pressure of a touchload applied to a touchpad
US9069416B2 (en) 2010-03-25 2015-06-30 Google Inc. Method and system for selecting content using a touchscreen
US9383887B1 (en) 2010-03-26 2016-07-05 Open Invention Network Llc Method and apparatus of providing a customized user interface
US8725706B2 (en) 2010-03-26 2014-05-13 Nokia Corporation Method and apparatus for multi-item searching
US8996901B2 (en) 2010-03-31 2015-03-31 Lenovo (Singapore) Pte. Ltd. Power management of electronic device with display
EP2553555A1 (en) 2010-03-31 2013-02-06 Nokia Corp. Apparatuses, methods and computer programs for a virtual stylus
US8826184B2 (en) 2010-04-05 2014-09-02 Lg Electronics Inc. Mobile terminal and image display controlling method thereof
JP2011221640A (ja) 2010-04-06 2011-11-04 Sony Corp 情報処理装置、情報処理方法およびプログラム
US20110252349A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US9052926B2 (en) 2010-04-07 2015-06-09 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9823831B2 (en) 2010-04-07 2017-11-21 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9417695B2 (en) 2010-04-08 2016-08-16 Blackberry Limited Tactile feedback method and apparatus
EP2375314A1 (en) 2010-04-08 2011-10-12 Research in Motion Limited Touch-sensitive device and method of control
US20110248948A1 (en) 2010-04-08 2011-10-13 Research In Motion Limited Touch-sensitive device and method of control
EP2375309A1 (en) 2010-04-08 2011-10-12 Research in Motion Limited Handheld device with localized delays for triggering tactile feedback
EP2378406B1 (en) 2010-04-13 2018-08-22 LG Electronics Inc. Mobile terminal and method of controlling operation of the mobile terminal
JP5459031B2 (ja) 2010-04-13 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9026932B1 (en) 2010-04-16 2015-05-05 Amazon Technologies, Inc. Edge navigation user interface
KR101668240B1 (ko) 2010-04-19 2016-10-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9285988B2 (en) 2010-04-20 2016-03-15 Blackberry Limited Portable electronic device having touch-sensitive display with variable repeat rate
KR101704531B1 (ko) 2010-04-22 2017-02-08 삼성전자주식회사 휴대 단말기의 텍스트 정보 표시 방법 및 장치
US8631350B2 (en) 2010-04-23 2014-01-14 Blackberry Limited Graphical context short menu
JP2011242386A (ja) 2010-04-23 2011-12-01 Immersion Corp 接触センサと触覚アクチュエータとの透明複合圧電材結合体
US9134897B2 (en) 2010-04-26 2015-09-15 Via Technologies, Inc. Electronic system and method for operating touch screen thereof
JP2011232947A (ja) 2010-04-27 2011-11-17 Lenovo Singapore Pte Ltd 情報処理装置、そのウィンドウ表示方法、およびコンピュータが実行可能なプログラム
JP2011238125A (ja) 2010-05-12 2011-11-24 Sony Corp 画像処理装置および方法、並びにプログラム
US8466889B2 (en) 2010-05-14 2013-06-18 Research In Motion Limited Method of providing tactile feedback and electronic device
US8451255B2 (en) 2010-05-14 2013-05-28 Arnett Ryan Weber Method of providing tactile feedback and electronic device
EP2386935B1 (en) 2010-05-14 2015-02-11 BlackBerry Limited Method of providing tactile feedback and electronic device
US20110285656A1 (en) 2010-05-19 2011-11-24 Google Inc. Sliding Motion To Change Computer Keys
US20110296333A1 (en) 2010-05-25 2011-12-01 Bateman Steven S User interaction gestures with virtual keyboard
JP4983961B2 (ja) 2010-05-25 2012-07-25 株式会社ニコン 撮像装置
US20110296351A1 (en) 2010-05-26 2011-12-01 T-Mobile Usa, Inc. User Interface with Z-axis Interaction and Multiple Stacks
US8860672B2 (en) 2010-05-26 2014-10-14 T-Mobile Usa, Inc. User interface with z-axis interaction
US20130120280A1 (en) 2010-05-28 2013-05-16 Tim Kukulski System and Method for Evaluating Interoperability of Gesture Recognizers
CN102947850B (zh) 2010-05-28 2016-07-06 乐天株式会社 内容输出装置、内容输出方法
KR101626301B1 (ko) 2010-05-28 2016-06-01 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8669946B2 (en) 2010-05-28 2014-03-11 Blackberry Limited Electronic device including touch-sensitive display and method of controlling same
EP2390772A1 (en) 2010-05-31 2011-11-30 Sony Ericsson Mobile Communications AB User interface with three dimensional user input
CN102939578A (zh) 2010-06-01 2013-02-20 诺基亚公司 用于接收用户输入的方法、设备和系统
JP2011257941A (ja) 2010-06-08 2011-12-22 Panasonic Corp 文字入力装置、文字装飾方法、及び文字装飾プログラム
US9329767B1 (en) 2010-06-08 2016-05-03 Google Inc. User-specific customization based on characteristics of user-interaction
US20110307778A1 (en) 2010-06-10 2011-12-15 Acer Incorporated Mobile electronic apparatus and method of switching application programs thereof
US20120089951A1 (en) 2010-06-10 2012-04-12 Cricket Communications, Inc. Method and apparatus for navigation within a multi-level application
US20110304577A1 (en) 2010-06-11 2011-12-15 Sp Controls, Inc. Capacitive touch screen stylus
US20110304559A1 (en) 2010-06-11 2011-12-15 Research In Motion Limited Portable electronic device including touch-sensitive display and method of changing tactile feedback
WO2011158054A1 (en) 2010-06-14 2011-12-22 Sony Ericsson Mobile Communications Ab Regulation of audio volume and/or speed responsive to user applied pressure and related methods
US20110319136A1 (en) 2010-06-23 2011-12-29 Motorola, Inc. Method of a Wireless Communication Device for Managing Status Components for Global Call Control
US8477109B1 (en) 2010-06-24 2013-07-02 Amazon Technologies, Inc. Surfacing reference work entries on touch-sensitive displays
US8542205B1 (en) 2010-06-24 2013-09-24 Amazon Technologies, Inc. Refining search results based on touch gestures
KR20120002727A (ko) 2010-07-01 2012-01-09 주식회사 팬택 3d ui 표시 장치
GB201011146D0 (en) 2010-07-02 2010-08-18 Vodafone Ip Licensing Ltd Mobile computing device
US20120001856A1 (en) 2010-07-02 2012-01-05 Nokia Corporation Responding to tactile inputs
US8972903B2 (en) 2010-07-08 2015-03-03 Apple Inc. Using gesture to navigate hierarchically ordered user interface screens
JP5589625B2 (ja) 2010-07-08 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120013541A1 (en) 2010-07-14 2012-01-19 Research In Motion Limited Portable electronic device and method of controlling same
US20120013542A1 (en) 2010-07-16 2012-01-19 Research In Motion Limited Portable electronic device and method of determining a location of a touch
US8854316B2 (en) 2010-07-16 2014-10-07 Blackberry Limited Portable electronic device with a touch-sensitive display and navigation device and method
KR20120009564A (ko) 2010-07-19 2012-02-02 삼성전자주식회사 3차원 마우스 포인터 생성방법 및 생성장치
EP2410413B1 (en) 2010-07-19 2018-12-12 Telefonaktiebolaget LM Ericsson (publ) Method for text input, apparatus, and computer program
US20120019448A1 (en) 2010-07-22 2012-01-26 Nokia Corporation User Interface with Touch Pressure Level Sensing
JP2012027875A (ja) 2010-07-28 2012-02-09 Sony Corp 電子機器、処理方法及びプログラム
JP5529663B2 (ja) 2010-07-28 2014-06-25 京セラ株式会社 入力装置
US8799815B2 (en) 2010-07-30 2014-08-05 Apple Inc. Device, method, and graphical user interface for activating an item in a folder
JP5494337B2 (ja) 2010-07-30 2014-05-14 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US8402533B2 (en) 2010-08-06 2013-03-19 Google Inc. Input to locked computing device
US8593418B2 (en) 2010-08-08 2013-11-26 Qualcomm Incorporated Method and system for adjusting display content
CA2807956C (en) 2010-08-09 2019-02-12 Intelligent Mechatronic Systems Inc. Interface for mobile device and computing device
US8698765B1 (en) 2010-08-17 2014-04-15 Amazon Technologies, Inc. Associating concepts within content items
JP5625612B2 (ja) 2010-08-19 2014-11-19 株式会社リコー 操作表示装置および操作表示方法
US8576184B2 (en) 2010-08-19 2013-11-05 Nokia Corporation Method and apparatus for browsing content files
JP5573487B2 (ja) 2010-08-20 2014-08-20 ソニー株式会社 情報処理装置、プログラム及び操作制御方法
JP5510185B2 (ja) 2010-08-20 2014-06-04 ソニー株式会社 情報処理装置、プログラム及び表示制御方法
US8751838B2 (en) 2010-08-23 2014-06-10 Nokia Corporation Method, apparatus and computer program product for presentation of information in a low power mode
JP2011048832A (ja) 2010-08-27 2011-03-10 Kyocera Corp 入力装置
JP5813301B2 (ja) 2010-09-01 2015-11-17 京セラ株式会社 表示装置
JP5732783B2 (ja) 2010-09-02 2015-06-10 ソニー株式会社 情報処理装置、情報処理装置の入力制御方法及びプログラム
US20120060123A1 (en) 2010-09-03 2012-03-08 Hugh Smith Systems and methods for deterministic control of instant-on mobile devices with touch screens
US8954427B2 (en) 2010-09-07 2015-02-10 Google Inc. Search result previews
US8593534B2 (en) * 2010-09-08 2013-11-26 Apple Inc. Auto-triggered camera self-timer based on recognition of subject's presence in scene
KR101739054B1 (ko) 2010-09-08 2017-05-24 삼성전자주식회사 디바이스상의 움직임 제어 방법 및 장치
US20120062470A1 (en) 2010-09-10 2012-03-15 Chang Ray L Power Management
US10645344B2 (en) 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US20120066648A1 (en) 2010-09-14 2012-03-15 Xerox Corporation Move and turn touch screen interface for manipulating objects in a 3d scene
KR101657122B1 (ko) 2010-09-15 2016-09-30 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9164670B2 (en) 2010-09-15 2015-10-20 Microsoft Technology Licensing, Llc Flexible touch-based scrolling
JP6049990B2 (ja) 2010-09-15 2016-12-21 京セラ株式会社 携帯電子機器、画面制御方法および画面制御プログラム
US8311514B2 (en) 2010-09-16 2012-11-13 Microsoft Corporation Prevention of accidental device activation
EP2431870B1 (en) 2010-09-17 2019-11-27 LG Electronics Inc. Mobile terminal and control method thereof
GB201015720D0 (en) 2010-09-20 2010-10-27 Gammons Richard Findability of data elements
US20120154303A1 (en) 2010-09-24 2012-06-21 Research In Motion Limited Method for conserving power on a portable electronic device and a portable electronic device configured for the same
EP2619646B1 (en) 2010-09-24 2018-11-07 BlackBerry Limited Portable electronic device and method of controlling same
JP5959797B2 (ja) 2010-09-28 2016-08-02 京セラ株式会社 入力装置及び入力装置の制御方法
US9030419B1 (en) 2010-09-28 2015-05-12 Amazon Technologies, Inc. Touch and force user interface navigation
JP5725533B2 (ja) 2010-09-29 2015-05-27 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置および入力方法
US9323442B2 (en) 2010-09-30 2016-04-26 Apple Inc. Managing items in a user interface
US8817053B2 (en) 2010-09-30 2014-08-26 Apple Inc. Methods and systems for opening a file
KR101685991B1 (ko) 2010-09-30 2016-12-13 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US20120084644A1 (en) 2010-09-30 2012-04-05 Julien Robert Content preview
US8713474B2 (en) 2010-10-05 2014-04-29 Citrix Systems, Inc. Providing user interfaces and window previews for hosted applications
EP2447818A1 (en) 2010-10-07 2012-05-02 Research in Motion Limited Method and portable electronic device for presenting text
US20120089942A1 (en) 2010-10-07 2012-04-12 Research In Motion Limited Method and portable electronic device for presenting text
JP5664103B2 (ja) 2010-10-08 2015-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5751934B2 (ja) 2010-10-15 2015-07-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
KR20130052743A (ko) 2010-10-15 2013-05-23 삼성전자주식회사 항목 선택 방법
US20120092381A1 (en) 2010-10-19 2012-04-19 Microsoft Corporation Snapping User Interface Elements Based On Touch Input
KR101726607B1 (ko) 2010-10-19 2017-04-13 삼성전자주식회사 휴대 단말기의 화면 제어 방법 및 장치
US9043732B2 (en) 2010-10-21 2015-05-26 Nokia Corporation Apparatus and method for user input for controlling displayed information
US20120102437A1 (en) 2010-10-22 2012-04-26 Microsoft Corporation Notification Group Touch Gesture Dismissal Techniques
JP5710934B2 (ja) 2010-10-25 2015-04-30 シャープ株式会社 コンテンツ表示装置、およびコンテンツ表示方法
US8706172B2 (en) 2010-10-26 2014-04-22 Miscrosoft Corporation Energy efficient continuous sensing for communications devices
US8655085B2 (en) 2010-10-28 2014-02-18 Microsoft Corporation Burst mode image compression and decompression
JP2012099996A (ja) 2010-11-01 2012-05-24 Olympus Imaging Corp 再生装置、再生方法、および、再生プログラム
US20120105367A1 (en) 2010-11-01 2012-05-03 Impress Inc. Methods of using tactile force sensing for intuitive user interface
US9262002B2 (en) 2010-11-03 2016-02-16 Qualcomm Incorporated Force sensing touch screen
US8587540B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US9760241B1 (en) 2010-11-05 2017-09-12 Amazon Technologies, Inc. Tactile interaction with content
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US20130215079A1 (en) 2010-11-09 2013-08-22 Koninklijke Philips Electronics N.V. User interface with haptic feedback
US9645722B1 (en) 2010-11-19 2017-05-09 A9.Com, Inc. Preview search results
JP5719205B2 (ja) 2010-11-22 2015-05-13 シャープ株式会社 電子機器および表示制御方法
US8560960B2 (en) 2010-11-23 2013-10-15 Apple Inc. Browsing and interacting with open windows
JP2012118825A (ja) 2010-12-01 2012-06-21 Fujitsu Ten Ltd 表示装置
US9069452B2 (en) 2010-12-01 2015-06-30 Apple Inc. Morphing a user-interface control object
US10503255B2 (en) 2010-12-02 2019-12-10 Immersion Corporation Haptic feedback assisted text manipulation
US9223445B2 (en) 2010-12-02 2015-12-29 Atmel Corporation Position-sensing and force detection panel
JP5700783B2 (ja) 2010-12-07 2015-04-15 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
US8660978B2 (en) 2010-12-17 2014-02-25 Microsoft Corporation Detecting and responding to unintentional contact with a computing device
US9244606B2 (en) 2010-12-20 2016-01-26 Apple Inc. Device, method, and graphical user interface for navigation of concurrently open software applications
KR101645685B1 (ko) 2010-12-20 2016-08-04 애플 인크. 이벤트 인식
US9223471B2 (en) 2010-12-28 2015-12-29 Microsoft Technology Licensing, Llc Touch screen control
KR101701852B1 (ko) 2010-12-29 2017-02-13 엘지전자 주식회사 이동단말기 및 그 제어방법
US9354804B2 (en) 2010-12-29 2016-05-31 Microsoft Technology Licensing, Llc Touch event anticipation in a computing device
JP5698529B2 (ja) 2010-12-29 2015-04-08 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
TW201227393A (en) 2010-12-31 2012-07-01 Acer Inc Method for unlocking screen and executing application program
US9471145B2 (en) 2011-01-06 2016-10-18 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US20120179967A1 (en) 2011-01-06 2012-07-12 Tivo Inc. Method and Apparatus for Gesture-Based Controls
US20120180001A1 (en) 2011-01-06 2012-07-12 Research In Motion Limited Electronic device and method of controlling same
US9477311B2 (en) 2011-01-06 2016-10-25 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9423878B2 (en) 2011-01-06 2016-08-23 Blackberry Limited Electronic device and method of displaying information in response to a gesture
KR101892630B1 (ko) 2011-01-10 2018-08-28 삼성전자주식회사 터치 디스플레이 장치 및 그 디스플레이 방법
US20120185787A1 (en) 2011-01-13 2012-07-19 Microsoft Corporation User interface interaction behavior based on insertion point
US8713471B1 (en) 2011-01-14 2014-04-29 Intuit Inc. Method and system for providing an intelligent visual scrollbar position indicator
US20120183271A1 (en) 2011-01-17 2012-07-19 Qualcomm Incorporated Pressure-based video recording
US9519418B2 (en) 2011-01-18 2016-12-13 Nokia Technologies Oy Method and apparatus for providing a multi-stage device transition mechanism initiated based on a touch gesture
US20120192108A1 (en) 2011-01-26 2012-07-26 Google Inc. Gesture-based menu controls
WO2012108214A1 (ja) 2011-02-10 2012-08-16 京セラ株式会社 入力装置
JP5537458B2 (ja) 2011-02-10 2014-07-02 シャープ株式会社 タッチ入力可能な画像表示装置、表示装置の制御装置、及びコンピュータプログラム
US20120218203A1 (en) 2011-02-10 2012-08-30 Kanki Noriyoshi Touch drawing display apparatus and operation method thereof, image display apparatus allowing touch-input, and controller for the display apparatus
KR101889838B1 (ko) 2011-02-10 2018-08-20 삼성전자주식회사 터치 스크린 디스플레이를 구비한 휴대 기기 및 그 제어 방법
KR101802522B1 (ko) 2011-02-10 2017-11-29 삼성전자주식회사 복수의 터치스크린을 가지는 장치 및 복수의 터치스크린을 가지는 장치의 화면변경방법
WO2012108213A1 (ja) 2011-02-10 2012-08-16 京セラ株式会社 入力装置
US8780140B2 (en) 2011-02-16 2014-07-15 Sony Corporation Variable display scale control device and variable playing speed control device
US8756503B2 (en) 2011-02-21 2014-06-17 Xerox Corporation Query generation from displayed text documents using virtual magnets
US9727177B2 (en) 2011-02-23 2017-08-08 Kyocera Corporation Electronic device with a touch sensor
US8593420B1 (en) 2011-03-04 2013-11-26 Amazon Technologies, Inc. Providing tactile output and interaction
US9195321B2 (en) 2011-03-17 2015-11-24 Intellitact Llc Input device user interface enhancements
US8479110B2 (en) 2011-03-20 2013-07-02 William J. Johnson System and method for summoning user interface objects
US20120242584A1 (en) 2011-03-22 2012-09-27 Nokia Corporation Method and apparatus for providing sight independent activity reports responsive to a touch gesture
US9489074B2 (en) 2011-03-23 2016-11-08 Kyocera Corporation Electronic device, operation control method, and operation control program
US20120249853A1 (en) 2011-03-28 2012-10-04 Marc Krolczyk Digital camera for reviewing related images
US11580155B2 (en) 2011-03-28 2023-02-14 Kodak Alaris Inc. Display device for displaying related digital images
US9220062B2 (en) 2011-03-30 2015-12-22 Nokia Technologies Oy Method and apparatus for low-power browsing
EP2508972B1 (en) 2011-04-05 2017-10-18 2236008 Ontario Inc. Portable electronic device and method of controlling same
US8872773B2 (en) 2011-04-05 2014-10-28 Blackberry Limited Electronic device and method of controlling same
US20120256846A1 (en) 2011-04-05 2012-10-11 Research In Motion Limited Electronic device and method of controlling same
US20120256857A1 (en) 2011-04-05 2012-10-11 Mak Genevieve Elizabeth Electronic device and method of controlling same
US20120260220A1 (en) 2011-04-06 2012-10-11 Research In Motion Limited Portable electronic device having gesture recognition and a method for controlling the same
US8736716B2 (en) 2011-04-06 2014-05-27 Apple Inc. Digital camera having variable duration burst mode
JPWO2012137946A1 (ja) 2011-04-06 2014-07-28 京セラ株式会社 電子機器、操作制御方法および操作制御プログラム
KR101772979B1 (ko) 2011-04-06 2017-08-31 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US20120260219A1 (en) 2011-04-08 2012-10-11 Piccolotto Jose P Method of cursor control
CN102752441A (zh) 2011-04-22 2012-10-24 比亚迪股份有限公司 一种具有触控屏的移动终端及其控制方法
US20120274578A1 (en) 2011-04-26 2012-11-01 Research In Motion Limited Electronic device and method of controlling same
US9110556B2 (en) 2011-04-28 2015-08-18 Nokia Technologies Oy Method and apparatus for increasing the functionality of an electronic device in a locked state
GB201107273D0 (en) 2011-04-28 2011-06-15 Inq Entpr Ltd Application control in electronic devices
US10222974B2 (en) 2011-05-03 2019-03-05 Nokia Technologies Oy Method and apparatus for providing quick access to device functionality
WO2012153555A1 (ja) 2011-05-12 2012-11-15 アルプス電気株式会社 入力装置及び前記入力装置を用いた複数点の荷重検出方法
US9152288B2 (en) 2011-05-19 2015-10-06 Microsoft Technology Licensing, Llc Remote multi-touch
US8952987B2 (en) 2011-05-19 2015-02-10 Qualcomm Incorporated User interface elements augmented with force detection
EP2710486B1 (en) 2011-05-20 2021-06-30 Citrix Systems, Inc. Shell integration on a mobile device for an application executing remotely on a server
US8972295B2 (en) 2011-05-23 2015-03-03 Visible Market, Inc. Dynamic visual statistical data display and method for limited display device
EP2715499B1 (en) 2011-05-23 2020-09-02 Microsoft Technology Licensing, LLC Invisible control
KR101240406B1 (ko) 2011-05-24 2013-03-11 주식회사 미성포리테크 힘센서를 이용한 휴대형 정보통신 단말기의 프로그램 동작 제어 방법
US9798408B2 (en) 2011-05-27 2017-10-24 Kyocera Corporation Electronic device
US10180722B2 (en) 2011-05-27 2019-01-15 Honeywell International Inc. Aircraft user interfaces with multi-mode haptics
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20120304132A1 (en) 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9032338B2 (en) 2011-05-30 2015-05-12 Apple Inc. Devices, methods, and graphical user interfaces for navigating and editing text
KR101802759B1 (ko) 2011-05-30 2017-11-29 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
KR101290145B1 (ko) 2011-05-31 2013-07-26 삼성전자주식회사 터치 스크린 제어 방법 및 장치, 컴퓨터에 의해 독출될 수 있는 기록 매체, 그리고 단말장치
US9092130B2 (en) 2011-05-31 2015-07-28 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
US8508494B2 (en) 2011-06-01 2013-08-13 Motorola Mobility Llc Using pressure differences with a touch-sensitive display screen
US8587542B2 (en) 2011-06-01 2013-11-19 Motorola Mobility Llc Using pressure differences with a touch-sensitive display screen
US9310958B2 (en) 2011-06-02 2016-04-12 Lenovo (Singapore) Pte. Ltd. Dock for favorite applications
WO2012162895A1 (en) 2011-06-03 2012-12-06 Google Inc. Gestures for selecting text
US9383820B2 (en) 2011-06-03 2016-07-05 Apple Inc. Custom vibration patterns
US20120311504A1 (en) 2011-06-03 2012-12-06 Van Os Marcel Extensible architecture for navigating a hierarchy
US9513799B2 (en) 2011-06-05 2016-12-06 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US8661337B2 (en) 2011-06-05 2014-02-25 Apple Inc. Techniques for use of snapshots with browsing transitions
US8823813B2 (en) * 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
JP5265819B2 (ja) 2011-06-07 2013-08-14 パナソニック株式会社 電子機器
KR20120135723A (ko) 2011-06-07 2012-12-17 김연수 터치패널 타입의 신호입력장치
CN102819331B (zh) 2011-06-07 2016-03-02 联想(北京)有限公司 移动终端及其触摸输入方法
WO2012167735A1 (zh) 2011-06-07 2012-12-13 联想(北京)有限公司 电子设备、触摸输入方法和控制方法
US20120313847A1 (en) 2011-06-09 2012-12-13 Nokia Corporation Method and apparatus for contextual gesture recognition
TWI431516B (zh) 2011-06-21 2014-03-21 Quanta Comp Inc 觸覺回饋方法及其電子裝置
US9304668B2 (en) 2011-06-28 2016-04-05 Nokia Technologies Oy Method and apparatus for customizing a display screen of a user interface
US8932412B2 (en) 2011-06-29 2015-01-13 Whirlpool Corporation Method and apparatus for an appliance with a power saving mode
WO2013002779A1 (en) 2011-06-29 2013-01-03 Research In Motion Limited Character preview method and apparatus
WO2011137862A2 (zh) 2011-07-04 2011-11-10 华为终端有限公司 一种实现虚拟手写输入的方法及电子装置
US20130014057A1 (en) 2011-07-07 2013-01-10 Thermal Matrix USA, Inc. Composite control for a graphical user interface
US9720587B2 (en) 2011-07-11 2017-08-01 Kddi Corporation User interface device enabling input motions by finger touch in different modes, and method and program for recognizing input motion
US9158455B2 (en) 2011-07-12 2015-10-13 Apple Inc. Multifunctional environment for image cropping
JP5325943B2 (ja) 2011-07-12 2013-10-23 富士フイルム株式会社 情報処理装置、情報処理方法及びプログラム
US20130016042A1 (en) 2011-07-12 2013-01-17 Ville Makinen Haptic device with touch gesture interface
US9086794B2 (en) 2011-07-14 2015-07-21 Microsoft Technology Licensing, Llc Determining gestures on context based menus
JP5799628B2 (ja) 2011-07-15 2015-10-28 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20130212515A1 (en) 2012-02-13 2013-08-15 Syntellia, Inc. User interface for text input
WO2013015070A1 (ja) 2011-07-22 2013-01-31 Kddi株式会社 指の移動を伴うことなく画像スクロールが可能なユーザインタフェース装置、画像スクロール方法及びプログラム
CN102243662A (zh) 2011-07-27 2011-11-16 北京风灵创景科技有限公司 一种在移动设备上显示浏览器界面的方法
US8713482B2 (en) 2011-07-28 2014-04-29 National Instruments Corporation Gestures for presentation of different views of a system diagram
JP5295328B2 (ja) 2011-07-29 2013-09-18 Kddi株式会社 スクリーンパッドによる入力が可能なユーザインタフェース装置、入力処理方法及びプログラム
KR101830965B1 (ko) 2011-08-03 2018-02-22 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
CN103797784A (zh) * 2011-08-05 2014-05-14 汤姆逊许可公司 视频偷看
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9317196B2 (en) 2011-08-10 2016-04-19 Microsoft Technology Licensing, Llc Automatic zooming for text selection/cursor placement
US20130044062A1 (en) 2011-08-16 2013-02-21 Nokia Corporation Method and apparatus for translating between force inputs and temporal inputs
US20130047100A1 (en) 2011-08-17 2013-02-21 Google Inc. Link Disambiguation For Touch Screens
CN102354269B (zh) 2011-08-18 2013-06-12 宇龙计算机通信科技(深圳)有限公司 用于控制显示装置的方法和系统
US20130050131A1 (en) 2011-08-23 2013-02-28 Garmin Switzerland Gmbh Hover based navigation user interface control
JP2013046306A (ja) * 2011-08-25 2013-03-04 Sony Corp 情報処理装置、情報処理システムおよび情報処理方法
US8806369B2 (en) 2011-08-26 2014-08-12 Apple Inc. Device, method, and graphical user interface for managing and interacting with concurrently open software applications
KR101351162B1 (ko) 2011-08-30 2014-01-14 주식회사 팬택 플리킹을 이용한 리스트 선택 지원 단말 장치 및 방법
WO2013029641A1 (en) 2011-08-31 2013-03-07 Sony Ericsson Mobile Communications Ab Method for operating a touch sensitive user interface
US20130050143A1 (en) 2011-08-31 2013-02-28 Samsung Electronics Co., Ltd. Method of providing of user interface in portable terminal and apparatus thereof
US8743069B2 (en) 2011-09-01 2014-06-03 Google Inc. Receiving input at a computing device
CN102981659B (zh) 2011-09-06 2016-01-27 宸鸿光电科技股份有限公司 触控面板的控制系统与控制方法及其使用的触控笔
TWI475470B (zh) 2011-09-07 2015-03-01 Acer Inc 電子裝置及應用程式操作方法
US20130067411A1 (en) 2011-09-08 2013-03-14 Google Inc. User gestures indicating rates of execution of functions
JP5576841B2 (ja) 2011-09-09 2014-08-20 Kddi株式会社 押圧による画像のズームが可能なユーザインタフェース装置、画像ズーム方法及びプログラム
US9071854B2 (en) 2011-09-12 2015-06-30 Disney Enterprises, Inc. System and method for transmitting a services list to a playback device
US9069460B2 (en) 2011-09-12 2015-06-30 Google Technology Holdings LLC Using pressure differences with a touch-sensitive display screen
US9612670B2 (en) 2011-09-12 2017-04-04 Microsoft Technology Licensing, Llc Explicit touch selection and cursor placement
US8976128B2 (en) 2011-09-12 2015-03-10 Google Technology Holdings LLC Using pressure differences with a touch-sensitive display screen
US9501213B2 (en) 2011-09-16 2016-11-22 Skadool, Inc. Scheduling events on an electronic calendar utilizing fixed-positioned events and a draggable calendar grid
US9519350B2 (en) 2011-09-19 2016-12-13 Samsung Electronics Co., Ltd. Interface controlling apparatus and method using force
US20130074003A1 (en) 2011-09-21 2013-03-21 Nokia Corporation Method and apparatus for integrating user interfaces
US8959430B1 (en) 2011-09-21 2015-02-17 Amazon Technologies, Inc. Facilitating selection of keys related to a selected key
JP2013070303A (ja) 2011-09-26 2013-04-18 Kddi Corp 画面への押圧で撮影が可能な撮影装置、撮影方法及びプログラム
US8723824B2 (en) 2011-09-27 2014-05-13 Apple Inc. Electronic devices with sidewall displays
US20130076651A1 (en) 2011-09-28 2013-03-28 Robert Reimann Methods and apparatus to change control centexts of controllers
CN103019427B (zh) 2011-09-28 2017-06-27 联想(北京)有限公司 控制方法及电子设备
JP5762912B2 (ja) 2011-09-30 2015-08-12 京セラ株式会社 装置、方法、及びプログラム
US20130082824A1 (en) 2011-09-30 2013-04-04 Nokia Corporation Feedback response
US20130086056A1 (en) 2011-09-30 2013-04-04 Matthew G. Dyor Gesture based context menus
US9395800B2 (en) 2011-09-30 2016-07-19 Qualcomm Incorporated Enabling instant handwritten input on mobile computing devices
JP5771585B2 (ja) 2011-10-03 2015-09-02 京セラ株式会社 装置、方法、及びプログラム
JP2012027940A (ja) 2011-10-05 2012-02-09 Toshiba Corp 電子機器
CN103907086B (zh) 2011-10-06 2017-11-03 索尼移动通信株式会社 用于操纵第一用户接口对象或第二用户接口对象的方法和电子装置
KR101924835B1 (ko) 2011-10-10 2018-12-05 삼성전자주식회사 터치 디바이스의 기능 운용 방법 및 장치
US10394441B2 (en) 2011-10-15 2019-08-27 Apple Inc. Device, method, and graphical user interface for controlling display of application windows
US9170607B2 (en) 2011-10-17 2015-10-27 Nokia Technologies Oy Method and apparatus for determining the presence of a device for executing operations
US8634807B2 (en) 2011-10-17 2014-01-21 Blackberry Limited System and method for managing electronic groups
CA2792685C (en) 2011-10-18 2017-08-22 Research In Motion Limited Method of modifying rendered attributes of list elements in a user interface
CA2792900C (en) 2011-10-18 2017-09-05 Research In Motion Limited Method of rendering a user interface
CA2792188A1 (en) 2011-10-18 2013-04-18 Research In Motion Limited Method of animating a rearrangement of ui elements on a display screen of an electronic device
US9075631B2 (en) 2011-10-18 2015-07-07 Blackberry Limited Method of rendering a user interface
CA2792895C (en) 2011-10-18 2020-04-28 Research In Motion Limited Method of rendering a user interface
US8810535B2 (en) 2011-10-18 2014-08-19 Blackberry Limited Electronic device and method of controlling same
US9389707B2 (en) 2011-10-28 2016-07-12 Atmel Corporation Active stylus with configurable touch sensor
US20130111345A1 (en) 2011-10-31 2013-05-02 Nokia Corporation Portable electronic device, associated apparatus and methods
US20130111579A1 (en) 2011-10-31 2013-05-02 Nokia Corporation Electronic device mode, associated apparatus and methods
US20130111415A1 (en) 2011-10-31 2013-05-02 Nokia Corporation Portable electronic device, associated apparatus and methods
US20130111378A1 (en) 2011-10-31 2013-05-02 Nokia Corporation Portable electronic device, associated apparatus and methods
DE102012110278A1 (de) 2011-11-02 2013-05-02 Beijing Lenovo Software Ltd. Verfahren und Vorrichtungen zur Fensterdarstellung und Verfahren und Vorrichtungen zur Berührungsbedienung von Anwendungen
JP5204286B2 (ja) 2011-11-02 2013-06-05 株式会社東芝 電子機器および入力方法
US20130113760A1 (en) 2011-11-07 2013-05-09 Google Inc. Techniques for providing localized tactile feedback to a user via an electro-acoustic touch display of a user device
CN103092386A (zh) 2011-11-07 2013-05-08 联想(北京)有限公司 一种电子设备及其触控方法
US9582178B2 (en) 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
JP2013101465A (ja) 2011-11-08 2013-05-23 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
WO2013067617A1 (en) 2011-11-09 2013-05-16 Research In Motion Limited Touch-sensitive display with dual track pad
JP5884421B2 (ja) 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP5520918B2 (ja) 2011-11-16 2014-06-11 富士ソフト株式会社 タッチパネル操作方法及びプログラム
KR101888457B1 (ko) 2011-11-16 2018-08-16 삼성전자주식회사 복수 개의 어플리케이션을 실행하는 터치스크린을 가지는 장치 및 그 제어 방법
CN107562281B (zh) 2011-11-18 2020-12-22 森顿斯公司 检测触摸输入力
US9449476B2 (en) 2011-11-18 2016-09-20 Sentons Inc. Localized haptic feedback
KR101796481B1 (ko) * 2011-11-28 2017-12-04 삼성전자주식회사 저전력 셔터랙 제거 방법, 카메라 모듈 및 이를 구비하는 모바일 기기
US9372593B2 (en) 2011-11-29 2016-06-21 Apple Inc. Using a three-dimensional model to render a cursor
KR101873744B1 (ko) 2011-11-29 2018-07-03 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101824007B1 (ko) 2011-12-05 2018-01-31 엘지전자 주식회사 이동 단말기 및 그의 멀티 태스킹 방법
US8581870B2 (en) 2011-12-06 2013-11-12 Apple Inc. Touch-sensitive button with two levels
CN102566908A (zh) 2011-12-13 2012-07-11 鸿富锦精密工业(深圳)有限公司 电子设备及其页面缩放方法
US8633911B2 (en) 2011-12-14 2014-01-21 Synaptics Incorporated Force sensing input device and method for determining force information
US9195362B2 (en) 2011-12-16 2015-11-24 Blackberry Limited Method of rendering a user interface
CN102722312B (zh) 2011-12-16 2015-12-16 江南大学 一种基于压力传感器的动作趋势预测交互体验方法及系统
US20130159930A1 (en) 2011-12-19 2013-06-20 Nokia Corporation Displaying one or more currently active applications
US20130154933A1 (en) 2011-12-20 2013-06-20 Synaptics Incorporated Force touch mouse
US20130154959A1 (en) 2011-12-20 2013-06-20 Research In Motion Limited System and method for controlling an electronic device
JP2013131185A (ja) 2011-12-22 2013-07-04 Kyocera Corp 装置、方法、及びプログラム
US9671880B2 (en) 2011-12-22 2017-06-06 Sony Corporation Display control device, display control method, and computer program
US9257098B2 (en) 2011-12-23 2016-02-09 Nokia Technologies Oy Apparatus and methods for displaying second content in response to user inputs
CN103186329B (zh) 2011-12-27 2017-08-18 富泰华工业(深圳)有限公司 电子设备及其触摸输入控制方法
KR102006470B1 (ko) 2011-12-28 2019-08-02 삼성전자 주식회사 사용자 디바이스에서 멀티태스킹 운용 방법 및 장치
US9116611B2 (en) 2011-12-29 2015-08-25 Apple Inc. Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
US10248278B2 (en) 2011-12-30 2019-04-02 Nokia Technologies Oy Method and apparatus for intuitive multitasking
US8756511B2 (en) 2012-01-03 2014-06-17 Lg Electronics Inc. Gesture based unlocking of a mobile terminal
US9141262B2 (en) 2012-01-06 2015-09-22 Microsoft Technology Licensing, Llc Edge-based hooking gestures for invoking user interfaces
DE102012207931A1 (de) 2012-01-07 2013-07-11 Johnson Controls Gmbh Kameraanordnung zur Distanzmessung
WO2013106289A1 (en) 2012-01-09 2013-07-18 Airbiquity Inc. User interface for mobile device
KR101710547B1 (ko) 2012-01-10 2017-02-27 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US9058168B2 (en) 2012-01-23 2015-06-16 Blackberry Limited Electronic device and method of controlling a display
US9619038B2 (en) 2012-01-23 2017-04-11 Blackberry Limited Electronic device and method of displaying a cover image and an application image from a low power condition
JP5410555B2 (ja) 2012-01-26 2014-02-05 京セラドキュメントソリューションズ株式会社 タッチパネル装置
JP2013153376A (ja) 2012-01-26 2013-08-08 Sony Corp 画像処理装置、画像処理方法および記録媒体
JP5885517B2 (ja) * 2012-01-27 2016-03-15 キヤノン株式会社 表示制御装置、表示制御装置の表示制御方法およびプログラム
JP5613187B2 (ja) * 2012-01-27 2014-10-22 オリンパスイメージング株式会社 撮像装置、撮像装置の制御方法、及び、撮像装置の制御をコンピュータに行わせるためのコードを備える持続性コンピュータ可読媒体
KR101973631B1 (ko) 2012-02-01 2019-04-29 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US20130198690A1 (en) 2012-02-01 2013-08-01 Microsoft Corporation Visual indication of graphical user interface relationship
US9477642B2 (en) 2012-02-05 2016-10-25 Apple Inc. Gesture-based navigation among content items
US9164779B2 (en) 2012-02-10 2015-10-20 Nokia Technologies Oy Apparatus and method for providing for remote user interaction
US9128605B2 (en) 2012-02-16 2015-09-08 Microsoft Technology Licensing, Llc Thumbnail-image selection of applications
US9146914B1 (en) 2012-02-17 2015-09-29 Google Inc. System and method for providing a context sensitive undo function
KR101894567B1 (ko) 2012-02-24 2018-09-03 삼성전자 주식회사 락스크린 운용 방법 및 이를 지원하는 단말기
KR101356368B1 (ko) 2012-02-24 2014-01-29 주식회사 팬택 어플리케이션 전환 장치 및 방법
US9778706B2 (en) 2012-02-24 2017-10-03 Blackberry Limited Peekable user interface on a portable electronic device
EP2631737A1 (en) 2012-02-24 2013-08-28 Research In Motion Limited Method and apparatus for providing a contextual user interface on a device
TWI519155B (zh) 2012-02-24 2016-01-21 宏達國際電子股份有限公司 影像連續拍攝方法與相關影像擷取系統
WO2013127055A1 (en) 2012-02-27 2013-09-06 Nokia Corporation Apparatus and associated methods
WO2013130026A1 (en) 2012-02-28 2013-09-06 Google Inc. Previewing expandable content items
KR20130099647A (ko) 2012-02-29 2013-09-06 한국과학기술원 사이드 인터페이스를 이용한 사용자 단말 컨텐츠 제어방법 및 제어장치
US9817568B2 (en) 2012-02-29 2017-11-14 Blackberry Limited System and method for controlling an electronic device
US20130232402A1 (en) 2012-03-01 2013-09-05 Huawei Technologies Co., Ltd. Method for Processing Sensor Data and Computing Node
US9542013B2 (en) 2012-03-01 2017-01-10 Nokia Technologies Oy Method and apparatus for determining recipients of a sharing operation based on an indication associated with a tangible object
US9158383B2 (en) 2012-03-02 2015-10-13 Microsoft Technology Licensing, Llc Force concentrator
US9078208B1 (en) 2012-03-05 2015-07-07 Google Inc. Power modes of computing devices
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US20130234929A1 (en) 2012-03-07 2013-09-12 Evernote Corporation Adapting mobile user interface to unfavorable usage conditions
WO2013135270A1 (en) 2012-03-13 2013-09-19 Telefonaktiebolaget L M Ericsson (Publ) An apparatus and method for navigating on a touch sensitive screen thereof
US9378581B2 (en) 2012-03-13 2016-06-28 Amazon Technologies, Inc. Approaches for highlighting active interface elements
US8760425B2 (en) 2012-03-20 2014-06-24 Sony Corporation Method and apparatus for enabling touchpad gestures
US10331769B1 (en) 2012-03-23 2019-06-25 Amazon Technologies, Inc. Interaction based prioritized retrieval of embedded resources
CN102662573B (zh) 2012-03-24 2016-04-27 上海量明科技发展有限公司 通过触压获得选择项的方法及终端
US10673691B2 (en) 2012-03-24 2020-06-02 Fred Khosropour User interaction platform
US9063644B2 (en) 2012-03-26 2015-06-23 The Boeing Company Adjustment mechanisms for virtual knobs on a touchscreen interface
CN102662571B (zh) 2012-03-26 2016-05-25 华为技术有限公司 解锁屏幕保护的方法及用户设备
JP5934537B2 (ja) 2012-03-27 2016-06-15 京セラ株式会社 電子機器および電子機器の制御方法
US11474645B2 (en) 2012-03-27 2022-10-18 Nokia Technologies Oy Method and apparatus for force sensing
US9251329B2 (en) 2012-03-27 2016-02-02 Synaptics Incorporated Button depress wakeup and wakeup strategy
US9116571B2 (en) 2012-03-27 2015-08-25 Adonit Co., Ltd. Method and system of data input for an electronic device equipped with a touch screen
WO2013145804A1 (ja) 2012-03-28 2013-10-03 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN102662577B (zh) 2012-03-29 2016-08-10 华为终端有限公司 一种基于三维显示的光标操作方法及移动终端
KR101924095B1 (ko) 2012-04-06 2018-11-30 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US9146655B2 (en) 2012-04-06 2015-09-29 Samsung Electronics Co., Ltd. Method and device for executing object on display
US9104260B2 (en) 2012-04-10 2015-08-11 Typesoft Technologies, Inc. Systems and methods for detecting a press on a touch-sensitive surface
TWI455011B (zh) 2012-04-11 2014-10-01 Wistron Corp 觸控顯示裝置及條件式改變顯示範圍之方法
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
US20130271355A1 (en) 2012-04-13 2013-10-17 Nokia Corporation Multi-segment wearable accessory
WO2013156815A1 (en) 2012-04-18 2013-10-24 Nokia Corporation A display apparatus with haptic feedback
TWI459287B (zh) 2012-04-20 2014-11-01 Hon Hai Prec Ind Co Ltd 觸控操作方法及使用其的電子系統
US9552037B2 (en) 2012-04-23 2017-01-24 Google Inc. Switching a computing device from a low-power state to a high-power state
EP2842089A4 (en) 2012-04-26 2015-04-29 Blackberry Ltd METHOD AND DEVICE FOR ADMINISTERING AND CONSIDERING CALENDAR EVENT INFORMATION
CN103649885B (zh) 2012-04-27 2017-03-01 松下知识产权经营株式会社 触觉提示装置、触觉提示方法、驱动信号生成装置以及驱动信号生成方法
EP2660702B1 (en) 2012-05-02 2020-12-30 Sony Corporation Technique for displaying on the basis of duration of operation of an input device
KR102004262B1 (ko) * 2012-05-07 2019-07-26 엘지전자 주식회사 미디어 시스템 및 이미지와 연관된 추천 검색어를 제공하는 방법
CN108287651B (zh) 2012-05-09 2021-04-13 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
WO2013169302A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Varying output for a computing device based on tracking windows
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
DE202013012233U1 (de) 2012-05-09 2016-01-18 Apple Inc. Vorrichtung und grafische Benutzerschnittstelle zum Anzeigen zusätzlicher Informationen in Antwort auf einen Benutzerkontakt
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
EP3264252B1 (en) 2012-05-09 2019-11-27 Apple Inc. Device, method, and graphical user interface for performing an operation in accordance with a selected mode of operation
CN109062488B (zh) 2012-05-09 2022-05-27 苹果公司 用于选择用户界面对象的设备、方法和图形用户界面
CN104487928B (zh) 2012-05-09 2018-07-06 苹果公司 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
JP2013236298A (ja) 2012-05-10 2013-11-21 Olympus Corp 撮像装置
EP2662761B1 (en) 2012-05-11 2020-07-01 Samsung Electronics Co., Ltd Multiple display window providing apparatus and method
US9454303B2 (en) 2012-05-16 2016-09-27 Google Inc. Gesture touch inputs for controlling video on a touchscreen
US8570296B2 (en) 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US20130307790A1 (en) 2012-05-17 2013-11-21 Nokia Corporation Methods And Apparatus For Device Control
CN111176516B (zh) 2012-05-18 2023-10-20 苹果公司 用于操纵用户界面的设备、方法和图形用户界面
US20130321306A1 (en) 2012-05-21 2013-12-05 Door Number 3 Common drawing model
US8816989B2 (en) 2012-05-22 2014-08-26 Lenovo (Singapore) Pte. Ltd. User interface navigation utilizing pressure-sensitive touch
US9251763B2 (en) 2012-05-25 2016-02-02 Picmonkey, Llc System and method for image collage editing
EP2669786A3 (en) 2012-05-29 2017-09-13 Samsung Electronics Co., Ltd Method for displaying item in terminal and terminal using the same
JP2013250602A (ja) 2012-05-30 2013-12-12 Seiko Epson Corp 端末装置、端末装置の制御方法、及び、プログラム
CN102799347B (zh) 2012-06-05 2017-01-04 北京小米科技有限责任公司 应用于触屏设备的用户界面交互方法、装置及触屏设备
US9418672B2 (en) 2012-06-05 2016-08-16 Apple Inc. Navigation application with adaptive instruction text
US9063595B2 (en) 2012-06-08 2015-06-23 Apple Inc. Devices and methods for reducing power usage of a touch-sensitive display
CN102819401A (zh) 2012-06-08 2012-12-12 中标软件有限公司 一种Android操作系统及其桌面图标布置方法
KR101909030B1 (ko) 2012-06-08 2018-10-17 엘지전자 주식회사 비디오 편집 방법 및 이를 위한 디지털 디바이스
RU2503698C1 (ru) 2012-06-09 2014-01-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Волгоградский государственный технический университет" (ВолгГТУ) Композиция для покрытий
JP2013257657A (ja) 2012-06-11 2013-12-26 Fujitsu Ltd 情報端末装置及び表示制御方法
US9041667B2 (en) 2012-06-12 2015-05-26 Blackberry Limited Electronic device and method of control of displays
US20130339001A1 (en) 2012-06-19 2013-12-19 Microsoft Corporation Spelling candidate generation
KR20130142301A (ko) 2012-06-19 2013-12-30 삼성전자주식회사 단말기의 메뉴환경 설정 장치 및 방법
US20140002374A1 (en) 2012-06-29 2014-01-02 Lenovo (Singapore) Pte. Ltd. Text selection utilizing pressure-sensitive touch
US20140013271A1 (en) 2012-07-05 2014-01-09 Research In Motion Limited Prioritization of multitasking applications in a mobile device interface
US9119156B2 (en) 2012-07-13 2015-08-25 Microsoft Technology Licensing, Llc Energy-efficient transmission of content over a wireless connection
US20140026098A1 (en) 2012-07-19 2014-01-23 M2J Think Box, Inc. Systems and methods for navigating an interface of an electronic device
US9256351B2 (en) 2012-07-20 2016-02-09 Blackberry Limited Method and electronic device for facilitating user control of a menu
EP2688283B1 (en) * 2012-07-20 2020-03-18 BlackBerry Limited Dynamic region of interest adaptation and image capture device providing same
US9298295B2 (en) 2012-07-25 2016-03-29 Facebook, Inc. Gestures for auto-correct
US20140028554A1 (en) 2012-07-26 2014-01-30 Google Inc. Recognizing gesture on tactile input device
US9836213B2 (en) 2012-07-27 2017-12-05 Symbol Technologies, Llc Enhanced user interface for pressure sensitive touch screen
KR102014775B1 (ko) 2012-07-30 2019-08-27 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
JP5482842B2 (ja) 2012-07-30 2014-05-07 カシオ計算機株式会社 情報処理装置およびその制御プログラム
US9280280B2 (en) 2012-07-31 2016-03-08 Nokia Technologies Oy Method, apparatus and computer program product for presenting designated information on a display operating in a restricted mode
US8896556B2 (en) 2012-07-31 2014-11-25 Verizon Patent And Licensing Inc. Time-based touch interface
JP2014032506A (ja) 2012-08-02 2014-02-20 Sharp Corp 情報処理装置、選択操作検出方法およびプログラム
JP6267961B2 (ja) 2012-08-10 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 映像提供方法および送信装置
US9280206B2 (en) 2012-08-20 2016-03-08 Samsung Electronics Co., Ltd. System and method for perceiving images with multimodal feedback
KR101946365B1 (ko) 2012-08-20 2019-02-11 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9250783B2 (en) 2012-08-21 2016-02-02 Apple Inc. Toggle gesture during drag gesture
US9720586B2 (en) 2012-08-21 2017-08-01 Nokia Technologies Oy Apparatus and method for providing for interaction with content within a digital bezel
KR101946366B1 (ko) 2012-08-23 2019-02-11 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
TWI484405B (zh) 2012-08-23 2015-05-11 Egalax Empia Technology Inc 圖形使用者界面的顯示方法及使用該方法的電子裝置
US9063731B2 (en) 2012-08-27 2015-06-23 Samsung Electronics Co., Ltd. Ultra low power apparatus and method to wake up a main processor
JP5883745B2 (ja) 2012-08-28 2016-03-15 京セラ株式会社 携帯端末、カーソル位置制御プログラムおよびカーソル位置制御方法
JP6077794B2 (ja) 2012-08-29 2017-02-08 キヤノン株式会社 情報処理装置及びその制御方法、並びにプログラム
KR101956170B1 (ko) * 2012-08-29 2019-03-08 삼성전자 주식회사 카메라의 이미지 저장 장치 및 방법
KR20140029720A (ko) * 2012-08-29 2014-03-11 엘지전자 주식회사 이동단말 제어방법
US20140067293A1 (en) 2012-09-05 2014-03-06 Apple Inc. Power sub-state monitoring
US8732613B2 (en) 2012-09-06 2014-05-20 Google Inc. Dynamic user interface for navigating among GUI elements
US9696879B2 (en) 2012-09-07 2017-07-04 Google Inc. Tab scrubbing using navigation gestures
JP5977627B2 (ja) 2012-09-07 2016-08-24 シャープ株式会社 情報処理装置、情報処理方法およびプログラム
US20140071060A1 (en) 2012-09-11 2014-03-13 International Business Machines Corporation Prevention of accidental triggers of button events
US20140078343A1 (en) 2012-09-20 2014-03-20 Htc Corporation Methods for generating video and multiple still images simultaneously and apparatuses using the same
EP3629571B1 (en) * 2012-09-21 2021-01-27 BlackBerry Limited Methods and devices for controlling camera image capture
US9063563B1 (en) 2012-09-25 2015-06-23 Amazon Technologies, Inc. Gesture actions for interface elements
US9671943B2 (en) 2012-09-28 2017-06-06 Dassault Systemes Simulia Corp. Touch-enabled complex data entry
US9785217B2 (en) 2012-09-28 2017-10-10 Synaptics Incorporated System and method for low power input object detection and interaction
US9372538B2 (en) 2012-09-28 2016-06-21 Denso International America, Inc. Multiple-force, dynamically-adjusted, 3-D touch surface with feedback for human machine interface (HMI)
MX347342B (es) 2012-10-05 2017-04-21 Tactual Labs Co Sistemas y métodos híbridos para procesamiento y retroalimentación de entradas de usuario de baja latencia.
US20140109016A1 (en) 2012-10-16 2014-04-17 Yu Ouyang Gesture-based cursor control
KR102032336B1 (ko) 2012-10-19 2019-11-08 한국전자통신연구원 압력 변화를 통한 촉각 피드백을 제공하는 터치 패널 및 그것의 동작 방법
US20140111670A1 (en) 2012-10-23 2014-04-24 Nvidia Corporation System and method for enhanced image capture
US20140118268A1 (en) 2012-11-01 2014-05-01 Google Inc. Touch screen operation using additional inputs
US9448694B2 (en) 2012-11-09 2016-09-20 Intel Corporation Graphical user interface for navigating applications
US10503359B2 (en) 2012-11-15 2019-12-10 Quantum Interface, Llc Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same
CN103019586B (zh) 2012-11-16 2017-03-15 小米科技有限责任公司 用户界面管理方法及装置
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
KR102108061B1 (ko) 2012-11-27 2020-05-08 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
JP5786909B2 (ja) 2012-11-30 2015-09-30 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、情報の表示方法、制御方法、及びプログラム
US20140152581A1 (en) 2012-11-30 2014-06-05 Lenovo (Singapore) Pte. Ltd. Force as a device action modifier
KR20140071118A (ko) 2012-12-03 2014-06-11 삼성전자주식회사 가상 버튼을 디스플레이하기 위한 방법 및 그 전자 장치
US10282088B2 (en) 2012-12-06 2019-05-07 Samsung Electronics Co., Ltd. Configuration of application execution spaces and sub-spaces for sharing data on a mobile tough screen device
US9082348B2 (en) 2012-12-07 2015-07-14 Blackberry Limited Methods and devices for scrolling a display page
US9189131B2 (en) 2012-12-11 2015-11-17 Hewlett-Packard Development Company, L.P. Context menus
WO2014092038A1 (ja) 2012-12-12 2014-06-19 株式会社村田製作所 タッチ式入力装置
US20140168093A1 (en) 2012-12-13 2014-06-19 Nvidia Corporation Method and system of emulating pressure sensitivity on a surface
US20140168153A1 (en) 2012-12-17 2014-06-19 Corning Incorporated Touch screen systems and methods based on touch location and touch force
CN103870190B (zh) 2012-12-17 2018-03-27 联想(北京)有限公司 一种控制电子设备的方法及电子设备
KR20140079110A (ko) 2012-12-18 2014-06-26 엘지전자 주식회사 이동 단말기 및 그 동작 방법
US9223403B2 (en) 2012-12-19 2015-12-29 Panasonic Intellectual Property Management Co., Ltd. Tactile input and output device
DE112012006009T5 (de) 2012-12-20 2014-11-27 Intel Corporation Berührungsbildschirm mit Kraftsensoren
JP2014123809A (ja) * 2012-12-20 2014-07-03 Canon Inc 撮像装置、撮像システム、および、撮像装置の制御方法
KR101457632B1 (ko) 2012-12-20 2014-11-10 주식회사 팬택 프로그램 알림 기능을 갖는 휴대용 전자 기기 및 이를 위한 프로그램 알림 방법
US9244576B1 (en) 2012-12-21 2016-01-26 Cypress Semiconductor Corporation User interface with child-lock feature
US20150332107A1 (en) 2012-12-24 2015-11-19 Nokia Technologies Oy An apparatus and associated methods
JP6003626B2 (ja) * 2012-12-26 2016-10-05 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
JP6138274B2 (ja) 2012-12-29 2017-05-31 アップル インコーポレイテッド ユーザインタフェース階層をナビゲートするためのデバイス、方法、及びグラフィカルユーザインタフェース
KR101958582B1 (ko) 2012-12-29 2019-07-04 애플 인크. 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
KR20170081744A (ko) 2012-12-29 2017-07-12 애플 인크. 다중 접촉 제스처에 대한 촉각적 출력의 발생을 보류하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
KR102072582B1 (ko) 2012-12-31 2020-02-03 엘지전자 주식회사 듀얼 디스플레이 방법 및 장치
US9665762B2 (en) 2013-01-11 2017-05-30 Synaptics Incorporated Tiered wakeup strategy
US10082949B2 (en) 2013-01-17 2018-09-25 Samsung Electronics Co., Ltd. Apparatus and method for application peel
JP6075854B2 (ja) * 2013-01-21 2017-02-08 キヤノン株式会社 表示制御装置、その制御方法、およびプログラム、並びに撮像装置および記憶媒体
US9141259B2 (en) 2013-01-21 2015-09-22 International Business Machines Corporation Pressure navigation on a touch sensitive user interface
KR20140097902A (ko) 2013-01-30 2014-08-07 삼성전자주식회사 햅틱 패턴을 생성하는 휴대 단말 및 방법
US20140210798A1 (en) 2013-01-31 2014-07-31 Hewlett-Packard Development Company, L.P. Digital Drawing Using A Touch-Sensitive Device To Detect A Position And Force For An Input Event
KR102133410B1 (ko) 2013-01-31 2020-07-14 삼성전자 주식회사 멀티태스킹 운용 방법 및 이를 지원하는 단말기
US9652136B2 (en) 2013-02-05 2017-05-16 Nokia Technologies Oy Method and apparatus for a slider interface element
EP2767896B1 (en) 2013-02-14 2019-01-16 LG Electronics Inc. Mobile terminal and method of controlling the mobile terminal
US20140237408A1 (en) 2013-02-15 2014-08-21 Flatfrog Laboratories Ab Interpretation of pressure based gesture
KR101761190B1 (ko) 2013-02-22 2017-07-25 삼성전자 주식회사 휴대 단말기의 사용자 인터페이스 제공 방법 및 장치
CN103186345B (zh) 2013-02-25 2016-09-14 北京极兴莱博信息科技有限公司 一种文段选择方法及装置
JP2014165663A (ja) 2013-02-25 2014-09-08 Kyocera Corp 携帯端末装置、プログラムおよび携帯端末装置の制御方法
US8769431B1 (en) 2013-02-28 2014-07-01 Roy Varada Prasad Method of single-handed software operation of large form factor mobile electronic devices
CN104020868B (zh) 2013-02-28 2017-09-01 联想(北京)有限公司 一种信息处理的方法及电子设备
US9035752B2 (en) 2013-03-11 2015-05-19 Amazon Technologies, Inc. Force sensing input device under an unbroken exterior portion of a device
KR102039688B1 (ko) * 2013-03-14 2019-11-01 삼성전자주식회사 사용자 기기 및 그 동작 방법
US10121065B2 (en) * 2013-03-14 2018-11-06 Nike, Inc. Athletic attribute determinations from image data
US10203815B2 (en) 2013-03-14 2019-02-12 Apple Inc. Application-based touch sensitivity
US9690476B2 (en) 2013-03-14 2017-06-27 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9500419B2 (en) 2013-03-15 2016-11-22 Hypersciences, Inc. Ram accelerator system
EP2972739B1 (en) 2013-03-15 2020-08-12 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US10055418B2 (en) 2014-03-14 2018-08-21 Highspot, Inc. Narrowing information search results for presentation to a user
US9451230B1 (en) 2013-03-15 2016-09-20 Google Inc. Playback adjustments for digital media items
CN105051652B (zh) 2013-03-15 2019-04-05 Tk控股公司 用于在注意力分散的操作环境中的压敏控制的自适应人机界面及使用同类产品的方法
US9274685B2 (en) 2013-03-15 2016-03-01 Google Technology Holdings LLC Systems and methods for predictive text entry for small-screen devices with touch-based two-stage text input
US9225677B2 (en) 2013-03-15 2015-12-29 Facebook, Inc. Systems and methods for displaying a digest of messages or notifications without launching applications associated with the messages or notifications
US9305374B2 (en) 2013-03-15 2016-04-05 Apple Inc. Device, method, and graphical user interface for adjusting the appearance of a control
CN104077014B (zh) 2013-03-28 2018-04-10 阿里巴巴集团控股有限公司 一种信息处理的方法和设备
US9507495B2 (en) 2013-04-03 2016-11-29 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US20140304646A1 (en) 2013-04-04 2014-10-09 Klip, Inc. Sliding side menu gui with menu items displaying indicia of updated content
US9389718B1 (en) 2013-04-04 2016-07-12 Amazon Technologies, Inc. Thumb touch interface
KR20140122000A (ko) * 2013-04-09 2014-10-17 옥윤선 모바일 메신저 기반의 드래그를 이용한 정보전달 방법, 그리고 모바일 메신저 기반의 드래그를 이용한 정보전달을 위한 모바일단말
US20140306897A1 (en) 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Virtual keyboard swipe gestures for cursor movement
KR102091235B1 (ko) 2013-04-10 2020-03-18 삼성전자주식회사 휴대 단말기에서 메시지를 편집하는 장치 및 방법
US9146672B2 (en) 2013-04-10 2015-09-29 Barnes & Noble College Booksellers, Llc Multidirectional swipe key for virtual keyboard
EP2992409A4 (en) 2013-04-30 2016-11-30 Hewlett Packard Development Co CONTENT PREVIEW PRODUCTION
CN103279295A (zh) 2013-05-03 2013-09-04 广东欧珀移动通信有限公司 一种终端桌面图标切换方法及装置
EP2995068A4 (en) 2013-05-08 2016-12-07 Nokia Technologies Oy DEVICE AND CORRESPONDING METHODS
KR20140132632A (ko) 2013-05-08 2014-11-18 삼성전자주식회사 휴대 장치 및 휴대 장치의 오브젝트 표시 방법
CN104142798A (zh) 2013-05-10 2014-11-12 北京三星通信技术研究有限公司 启动应用程序的方法及触摸屏智能终端设备
US20140344765A1 (en) 2013-05-17 2014-11-20 Barnesandnoble.Com Llc Touch Sensitive UI Pinch and Flick Techniques for Managing Active Applications
CN103268184A (zh) 2013-05-17 2013-08-28 广东欧珀移动通信有限公司 一种移动文本光标的方法及装置
KR20140137509A (ko) 2013-05-22 2014-12-03 삼성전자주식회사 알림 기능 운용 방법 및 이를 지원하는 전자 장치
JP2014232347A (ja) 2013-05-28 2014-12-11 シャープ株式会社 文字入力装置および携帯端末装置
US9307112B2 (en) 2013-05-31 2016-04-05 Apple Inc. Identifying dominant and non-dominant images in a burst mode capture
US9319589B2 (en) 2013-05-31 2016-04-19 Sony Corporation Device and method for capturing images and selecting a desired image by tilting the device
US10282067B2 (en) 2013-06-04 2019-05-07 Sony Corporation Method and apparatus of controlling an interface based on touch operations
US9477393B2 (en) 2013-06-09 2016-10-25 Apple Inc. Device, method, and graphical user interface for displaying application status information
US9626087B2 (en) 2013-06-09 2017-04-18 Apple Inc. Device, method, and graphical user interface for navigating between user interfaces
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US10481769B2 (en) 2013-06-09 2019-11-19 Apple Inc. Device, method, and graphical user interface for providing navigation and search functionalities
US10282083B2 (en) 2013-06-09 2019-05-07 Apple Inc. Device, method, and graphical user interface for transitioning between user interfaces
KR102113674B1 (ko) 2013-06-10 2020-05-21 삼성전자주식회사 다중 터치를 이용한 객체 선택 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9405379B2 (en) 2013-06-13 2016-08-02 Microsoft Technology Licensing, Llc Classification of user input
CN104238904B (zh) 2013-06-17 2019-08-06 中兴通讯股份有限公司 一种显示界面滑动的方法及移动终端
US9400601B2 (en) 2013-06-21 2016-07-26 Nook Digital, Llc Techniques for paging through digital content on touch screen devices
CN103309618A (zh) 2013-07-02 2013-09-18 姜洪明 移动操作系统
US20150012861A1 (en) 2013-07-02 2015-01-08 Dropbox, Inc. Syncing content clipboard
US20150020033A1 (en) 2013-07-09 2015-01-15 Qualcomm Incorporated Method and apparatus for activating a user interface from a low power state
KR102136602B1 (ko) 2013-07-10 2020-07-22 삼성전자 주식회사 휴대단말기의 컨텐츠 처리 장치 및 방법
KR102080746B1 (ko) 2013-07-12 2020-02-24 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
EP3022639B1 (en) 2013-07-16 2018-10-31 Pinterest, Inc. Object based contextual menu controls
US9342228B2 (en) 2013-07-17 2016-05-17 Blackberry Limited Device and method for filtering messages using sliding touch input
US20150022482A1 (en) 2013-07-19 2015-01-22 International Business Machines Corporation Multi-touch management for touch screen displays
KR102187505B1 (ko) 2013-07-22 2020-12-08 삼성전자 주식회사 전자 디바이스의 표시 제어 방법 및 장치
KR20150013991A (ko) 2013-07-25 2015-02-06 삼성전자주식회사 휴대단말기의 어플리케이션 실행 방법 및 장치
US20150040065A1 (en) 2013-07-31 2015-02-05 Vonage Network Llc Method and apparatus for generating customized menus for accessing application functionality
CN104349124A (zh) 2013-08-01 2015-02-11 天津天地伟业数码科技有限公司 录像机上扩展多屏显示的结构及方法
US9335897B2 (en) 2013-08-08 2016-05-10 Palantir Technologies Inc. Long click display of a context menu
KR20150019165A (ko) 2013-08-12 2015-02-25 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10108310B2 (en) 2013-08-16 2018-10-23 Marvell World Trade Ltd Method and apparatus for icon based application control
KR102101741B1 (ko) 2013-08-16 2020-05-29 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20150023148A (ko) * 2013-08-23 2015-03-05 삼성전자주식회사 전자기기에서 이미지를 관리하는 방법 및 장치
US9740712B2 (en) 2013-08-26 2017-08-22 Ab Minenda Oy System for processing image data, storing image data and accessing image data
CN104423740B (zh) 2013-08-30 2018-07-13 唐山东唐电气股份有限公司 基于电容式触控装置的感测方法
KR102332675B1 (ko) 2013-09-02 2021-11-30 삼성전자 주식회사 전자 장치의 컨텐츠 공유 방법 및 장치
KR20150026649A (ko) 2013-09-03 2015-03-11 삼성전자주식회사 전자 장치에서 제스처를 설정하는 장치 및 방법
US20150066950A1 (en) 2013-09-05 2015-03-05 Sporting Vote, Inc. Sentiment scoring for sports entities and filtering techniques
US20150071547A1 (en) 2013-09-09 2015-03-12 Apple Inc. Automated Selection Of Keeper Images From A Burst Photo Captured Set
US9798443B1 (en) 2013-09-10 2017-10-24 Amazon Technologies, Inc. Approaches for seamlessly launching applications
US10037130B2 (en) 2013-09-13 2018-07-31 Samsung Electronics Co., Ltd. Display apparatus and method for improving visibility of the same
JP6138641B2 (ja) 2013-09-13 2017-05-31 株式会社Nttドコモ 地図情報表示装置、地図情報表示方法、及び地図情報表示プログラム
US20150082238A1 (en) 2013-09-18 2015-03-19 Jianzhong Meng System and method to display and interact with a curve items list
DE112014004648T5 (de) 2013-10-08 2016-07-21 Tk Holdings Inc. Selbstkalibrierende taktile haptische Multitouch-, Multifunktionsschalttafel
US9407964B2 (en) 2013-10-25 2016-08-02 Verizon Patent And Licensing Inc. Method and system for navigating video to an instant time
KR20150049700A (ko) 2013-10-30 2015-05-08 삼성전자주식회사 전자 장치에서 입력을 제어하는 방법 및 장치
US10067651B2 (en) 2013-11-15 2018-09-04 Thomson Reuters Global Resources Unlimited Company Navigable layering of viewable areas for hierarchical content
CN103677632A (zh) 2013-11-19 2014-03-26 三星电子(中国)研发中心 一种虚拟键盘调整方法和移动终端
JP6177669B2 (ja) 2013-11-20 2017-08-09 株式会社Nttドコモ 画像表示装置およびプログラム
US9111076B2 (en) 2013-11-20 2015-08-18 Lg Electronics Inc. Mobile terminal and control method thereof
US20150143294A1 (en) 2013-11-21 2015-05-21 UpTo, Inc. System and method for presenting a responsive multi-layered ordered set of elements
CN103699292B (zh) 2013-11-29 2017-02-15 小米科技有限责任公司 一种进入文本选择模式的方法和装置
US20150153897A1 (en) 2013-12-03 2015-06-04 Microsoft Corporation User interface adaptation from an input source identifier change
JP2015114836A (ja) 2013-12-11 2015-06-22 キヤノン株式会社 画像処理装置、触感制御方法及びプログラム
CN104714741A (zh) 2013-12-11 2015-06-17 北京三星通信技术研究有限公司 触控操作的方法及装置
CN103699295A (zh) 2013-12-12 2014-04-02 宇龙计算机通信科技(深圳)有限公司 终端和图标显示方法
US9483118B2 (en) 2013-12-27 2016-11-01 Rovi Guides, Inc. Methods and systems for selecting media guidance functions based on tactile attributes of a user input
US9753527B2 (en) 2013-12-29 2017-09-05 Google Technology Holdings LLC Apparatus and method for managing graphics buffers for a processor in sleep mode
US9804665B2 (en) 2013-12-29 2017-10-31 Google Inc. Apparatus and method for passing event handling control from a primary processor to a secondary processor during sleep mode
CN103793134A (zh) 2013-12-30 2014-05-14 深圳天珑无线科技有限公司 一种触摸屏终端多界面切换的方法及触摸屏终端
KR20150081125A (ko) 2014-01-03 2015-07-13 삼성전자주식회사 전자 장치 스크린에서의 입자 효과 디스플레이
CN103777850A (zh) 2014-01-17 2014-05-07 广州华多网络科技有限公司 菜单显示方法、装置和终端
CN104834456A (zh) 2014-02-12 2015-08-12 深圳富泰宏精密工业有限公司 触控界面多任务切换方法、系统及电子装置
JP6446055B2 (ja) 2014-02-18 2018-12-26 ケンブリッジ タッチ テクノロジーズ リミテッドCambridge Touch Technologies Limited 力タッチを用いるタッチスクリーンのためのパワーモードの動的切り替え
CN103838465B (zh) 2014-03-08 2018-03-02 广东欧珀移动通信有限公司 一种生动有趣的桌面图标显示方法及装置
US9436348B2 (en) 2014-03-18 2016-09-06 Blackberry Limited Method and system for controlling movement of cursor in an electronic device
JP6247651B2 (ja) 2014-03-24 2017-12-13 株式会社 ハイディープHiDeep Inc. メニュー操作方法及びこれを行うタッチ入力装置を含むメニュー操作装置
US9829979B2 (en) 2014-04-28 2017-11-28 Ford Global Technologies, Llc Automotive touchscreen controls with simulated texture for haptic feedback
KR102129798B1 (ko) 2014-05-08 2020-07-03 엘지전자 주식회사 비히클 및 그 제어 방법
US20150332607A1 (en) 2014-05-13 2015-11-19 Viewplus Technologies, Inc. System for Producing Tactile Images
CN104020955B (zh) 2014-05-30 2016-05-11 深圳市爱培科技术股份有限公司 基于WinCE系统的触摸式设备桌面自定义方法及系统
CN103984501B (zh) 2014-05-30 2017-02-08 东莞市沃视界电子科技有限公司 一种基于触摸屏的文段复制粘贴方法、装置及其移动终端
US9032321B1 (en) 2014-06-16 2015-05-12 Google Inc. Context-based presentation of a user interface
CN104021021A (zh) 2014-06-19 2014-09-03 深圳市中兴移动通信有限公司 移动终端及其通过压力检测实现快捷启动的方法和装置
CN104038838A (zh) * 2014-06-24 2014-09-10 北京奇艺世纪科技有限公司 一种数据播放方法及装置
US9477653B2 (en) 2014-06-26 2016-10-25 Blackberry Limited Character entry for an electronic device using a position sensing keyboard
US9294719B2 (en) 2014-06-30 2016-03-22 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing in-app live support functionality
US20160004393A1 (en) 2014-07-01 2016-01-07 Google Inc. Wearable device user interface control
TW201602893A (zh) 2014-07-07 2016-01-16 欣興電子股份有限公司 附加資訊提供方法及使用其的觸控顯示裝置
US9990105B2 (en) 2014-07-08 2018-06-05 Verizon Patent And Licensing Inc. Accessible contextual controls within a graphical user interface
US9363644B2 (en) 2014-07-16 2016-06-07 Yahoo! Inc. System and method for detection of indoor tracking units
US20160019718A1 (en) 2014-07-16 2016-01-21 Wipro Limited Method and system for providing visual feedback in a virtual reality environment
CN104090979B (zh) 2014-07-23 2017-10-24 上海天脉聚源文化传媒有限公司 一种网页编辑方法及装置
US9600114B2 (en) 2014-07-31 2017-03-21 International Business Machines Corporation Variable pressure touch system
KR20160021524A (ko) 2014-08-18 2016-02-26 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10203858B2 (en) 2014-08-28 2019-02-12 Blackberry Limited Portable electronic device and method of controlling the display of information
CN104270565B (zh) * 2014-08-29 2018-02-02 小米科技有限责任公司 图像拍摄方法、装置及设备
KR102521953B1 (ko) 2014-09-02 2023-04-14 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
CN104267902B (zh) 2014-09-22 2017-03-08 努比亚技术有限公司 一种应用程序交互控制方法、装置及终端
US20160124924A1 (en) 2014-10-09 2016-05-05 Wrap Media, LLC Displaying a wrap package of cards within an overlay window embedded in an application or web page
US20160132139A1 (en) 2014-11-11 2016-05-12 Qualcomm Incorporated System and Methods for Controlling a Cursor Based on Finger Pressure and Direction
CN104331239A (zh) 2014-11-26 2015-02-04 上海斐讯数据通信技术有限公司 单手操作手持设备的方法及系统
TW201624260A (zh) 2014-12-30 2016-07-01 富智康(香港)有限公司 資訊查看系統及方法
KR20150021977A (ko) 2015-01-19 2015-03-03 인포뱅크 주식회사 휴대용 단말기에서의 ui 구성 방법
US20160224220A1 (en) 2015-02-04 2016-08-04 Wipro Limited System and method for navigating between user interface screens
US10191614B2 (en) 2015-02-25 2019-01-29 Htc Corporation Panel displaying method, portable electronic device and recording medium using the method
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10101877B2 (en) 2015-04-16 2018-10-16 Blackberry Limited Portable electronic device including touch-sensitive display and method of providing access to an application
US9625987B1 (en) 2015-04-17 2017-04-18 Google Inc. Updating and displaying information in different power modes
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
DK179328B1 (en) 2015-06-07 2018-05-07 Apple Inc DEVICES, METHODS AND GRAPHICAL USER INTERFACES FOR PROVIDING AND INTERACTING WITH NOTIFICATIONS
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10319177B2 (en) 2015-07-31 2019-06-11 Novomatic Ag User interface with slider and popup window feature
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US20170046058A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Adjusting User Interface Objects
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9619113B2 (en) 2015-09-09 2017-04-11 Quixey, Inc. Overloading app icon touchscreen interaction to provide action accessibility
US10346510B2 (en) 2015-09-29 2019-07-09 Apple Inc. Device, method, and graphical user interface for providing handwriting support in document editing
KR102348670B1 (ko) 2015-09-30 2022-01-06 엘지디스플레이 주식회사 멀티 터치 감지형 표시장치와 그의 터치 식별코드 할당방법
US11182068B2 (en) 2015-10-27 2021-11-23 Verizon Patent And Licensing Inc. Method and system for interacting with a touch screen
US10506165B2 (en) 2015-10-29 2019-12-10 Welch Allyn, Inc. Concussion screening system
JP6685695B2 (ja) 2015-10-30 2020-04-22 キヤノン株式会社 端末及び撮像装置
KR101749933B1 (ko) 2015-11-12 2017-06-22 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20170085419A (ko) 2016-01-14 2017-07-24 삼성전자주식회사 터치 입력에 기반한 동작 방법 및 그 전자 장치
CN107329602A (zh) 2016-04-28 2017-11-07 珠海金山办公软件有限公司 一种触摸屏轨迹识别方法及装置
US10402042B2 (en) 2016-06-13 2019-09-03 Lenovo (Singapore) Pte. Ltd. Force vector cursor control
US10152173B2 (en) 2016-08-25 2018-12-11 Parade Technologies, Ltd. Using 3D touch for signal conditioning and noise reduction on a touch surface
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK201670728A1 (en) 2016-09-06 2018-03-19 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Feedback During Interaction with an Intensity-Sensitive Button
US10445935B2 (en) 2017-05-26 2019-10-15 Microsoft Technology Licensing, Llc Using tracking to simulate direct tablet interaction in mixed reality
US20180364898A1 (en) 2017-06-14 2018-12-20 Zihan Chen Systems, Devices, and/or Methods for Managing Text Rendering
US10908783B2 (en) 2018-11-06 2021-02-02 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects and providing feedback
US10785591B2 (en) 2018-12-04 2020-09-22 Spotify Ab Media content playback based on an identified geolocation of a target venue
US11544928B2 (en) * 2019-06-17 2023-01-03 The Regents Of The University Of California Athlete style recognition system and method
US20210191975A1 (en) * 2019-12-20 2021-06-24 Juwei Lu Methods and systems for managing image collection

Also Published As

Publication number Publication date
CN106227441B (zh) 2020-05-12
US20160360098A1 (en) 2016-12-08
CN111475084B (zh) 2023-09-12
AU2016276030B2 (en) 2018-11-08
NL2016801B1 (en) 2017-07-21
AU2019200872B2 (en) 2019-10-10
WO2016200587A1 (en) 2016-12-15
US20160360116A1 (en) 2016-12-08
AU2019257437B2 (en) 2020-10-08
JP2018515860A (ja) 2018-06-14
CN111475085A (zh) 2020-07-31
DK201500582A1 (en) 2017-01-02
AU2016276030A1 (en) 2017-11-30
KR101994825B1 (ko) 2019-07-01
US20220070359A1 (en) 2022-03-03
US9860451B2 (en) 2018-01-02
JP2024054150A (ja) 2024-04-16
US20160357387A1 (en) 2016-12-08
US11835985B2 (en) 2023-12-05
NL2019215B1 (en) 2018-04-16
JP2021048592A (ja) 2021-03-25
KR20200031701A (ko) 2020-03-24
JP6818735B2 (ja) 2021-01-20
KR20220021004A (ko) 2022-02-21
AU2016100647A4 (en) 2016-06-23
DE202016002529U1 (de) 2016-09-22
AU2022202892A1 (en) 2022-05-26
KR102166944B1 (ko) 2020-10-16
NL2019214B1 (en) 2018-04-10
US9602729B2 (en) 2017-03-21
US20230133870A1 (en) 2023-05-04
US9706127B2 (en) 2017-07-11
NL2019215A (en) 2017-09-20
AU2020244406A1 (en) 2020-10-29
DK201500585A1 (en) 2017-01-02
EP3304270B1 (en) 2019-10-09
EP3304270A1 (en) 2018-04-11
KR20200119909A (ko) 2020-10-20
US11681429B2 (en) 2023-06-20
KR102120906B1 (ko) 2020-06-09
US11240424B2 (en) 2022-02-01
JP7034233B2 (ja) 2022-03-11
NL2016801A (en) 2016-12-12
AU2020244406B2 (en) 2022-02-03
JP7427040B2 (ja) 2024-02-02
CN111475085B (zh) 2023-09-15
KR20210124503A (ko) 2021-10-14
KR102397968B1 (ko) 2022-05-16
AU2022202892B2 (en) 2023-06-29
KR102358650B1 (ko) 2022-02-08
KR102432729B1 (ko) 2022-08-16
KR102308933B1 (ko) 2021-10-05
AU2019257437A1 (en) 2019-11-21
AU2016100647B4 (en) 2017-02-23
US20240126425A1 (en) 2024-04-18
EP3591953A1 (en) 2020-01-08
CN111475086B (zh) 2023-09-12
NL2019214A (en) 2017-08-24
CN111475086A (zh) 2020-07-31
AU2023226703A1 (en) 2023-09-21
KR20190130059A (ko) 2019-11-20
US20200396375A1 (en) 2020-12-17
AU2019200872A1 (en) 2019-02-28
KR20190077128A (ko) 2019-07-02
CN111475084A (zh) 2020-07-31
JP2019126026A (ja) 2019-07-25
KR20170139621A (ko) 2017-12-19
CN106227441A (zh) 2016-12-14
KR102045991B1 (ko) 2019-11-18
KR20200067931A (ko) 2020-06-12
KR20220066198A (ko) 2022-05-23
JP2022088383A (ja) 2022-06-14
KR102090768B1 (ko) 2020-03-18

Similar Documents

Publication Publication Date Title
JP7034233B2 (ja) 拡張デジタル画像のキャプチャ及び拡張デジタル画像との双方向作用のためのデバイス及び方法
US10841484B2 (en) Devices and methods for capturing and interacting with enhanced digital images
AU2016100648B4 (en) Devices and methods for capturing and interacting with enhanced digital images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181226

R150 Certificate of patent or registration of utility model

Ref document number: 6462160

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250