JP7483084B2 - ユーザインタフェースカメラ効果 - Google Patents

ユーザインタフェースカメラ効果 Download PDF

Info

Publication number
JP7483084B2
JP7483084B2 JP2023041079A JP2023041079A JP7483084B2 JP 7483084 B2 JP7483084 B2 JP 7483084B2 JP 2023041079 A JP2023041079 A JP 2023041079A JP 2023041079 A JP2023041079 A JP 2023041079A JP 7483084 B2 JP7483084 B2 JP 7483084B2
Authority
JP
Japan
Prior art keywords
filter
representation
user interface
image data
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023041079A
Other languages
English (en)
Other versions
JP2023101415A (ja
JP2023101415A5 (ja
Inventor
アラン シー ダイ
ジョナサン ピー アイヴ
ドス サントス アンドレ ソウザ
アリアン ベフザディ
ジョニー ビー マンザリ
ビリー ザ サード ソレンティーノ
キャロライン ハーマンズ
サイラス ダニエル イラニ
ダニエル トレント プレストン
エリオット ハリス
エミリー キム
フレデリック ツァオ
ギャレット ジョンソン
グラント ポール
ジェフリー エイ ブラスケット
ジョセフ エイ マリア
マレク ベレーザ
パヴェル ピヴォンカ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DKPA201770563A external-priority patent/DK201770563A1/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2023101415A publication Critical patent/JP2023101415A/ja
Publication of JP2023101415A5 publication Critical patent/JP2023101415A5/ja
Priority to JP2024073909A priority Critical patent/JP2024105385A/ja
Application granted granted Critical
Publication of JP7483084B2 publication Critical patent/JP7483084B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Viewfinders (AREA)
  • Exposure Control For Cameras (AREA)

Description

本出願は、米国特許仮出願番号第62/556,414号(発明の名称「USER INTERFACE CAMERA EFFECTS」、2017年9月9日出願)、及び同第62/514,947号(発明の名称「USER INTERFACE CAMERA EFFECTS」、2017年6月4日出願)に対する優先権を主張する、米国特許出願番号第15/728,147号(2017年10月9日出願、発明の名称「USER INTERFACE CAMERA EFFECTS」)に対する優先権を主張する。本出願はまた、デンマーク特許出願番号第PA201770563号(2017年7月10日出願、発明の名称「USER INTERFACE CAMERA EFFECTS」)、及び同第PA201770719号(2017年9月22日出願、発明の名称「USER INTERFACE CAMERA EFFECTS」)に対する優先権を主張する。これらの出願の内容は、その全体があらゆる目的で、参照により本明細書に組み込まれる。
本開示は概して、電子デバイス、具体的には、内蔵カメラを備えるデバイスのコンピュータユーザインタフェースに関する。
ビデオを録画し、写真を撮影するための電子デバイスの使用は、近年著しく増加している。ビデオを録画し、写真を撮影するための例示的な電子デバイスとしては、スマートフォン及び手持ち式のカメラが挙げられる。そのようなデバイスは、しばしば、ユーザが写真を撮影する又はビデオを録画する前にプレビューするために使用することができるビューファインダを含む。
しかし、電子デバイスを使用してカメラ効果を操作するための一部の技術は、概して煩雑であり、非効率である。例えば、キャプチャした画像及び録画したビデオが視覚的効果を呈するようにビューファインダ内の視覚的効果を変化させることは、多くの場合、多大なユーザ入力を必要とし、不正確である。既存の技術は、必要以上の時間を要し、ユーザの時間及びデバイスのエネルギを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。
したがって、本技術は、カメラ効果を管理するための、より速く、より効率的な方法及びインタフェースを電子デバイスに提供する。このような方法及びインタフェースは、カメラ効果を管理するための他の方法を任意選択的に補完する又は置き換える。そのような方法及びインタフェースは、ユーザに係る認識的負担を低減させ、より効率的なヒューマンマシンインタフェースを作成する。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、電池充電の間隔を長くする。いくつかの実施例では、この技術は、追加のハードウェア構成要素を必要とせずに、カメラのビューファインダ及びキャプチャした画像内の疑似的視覚的効果を提供する。いくつかの実施例では、この技術は、限定的なユーザ入力におけるユーザインタフェース間で素早く移動できる能力を提供する。いくつかの実施例では、この技術は、表示されたデジタルビューファインダ及びキャプチャしたビデオに対して視覚的に快い結果をもたらす向上した画像編集能力を効率的に提供する。いくつかの実施例では、この技術は、異なる一連のオプション間を最小の入力で移動するための、ユーザインタフェースを効率的に提供する。いくつかの実施例では、この技術は、あらゆる直接入力を必要とせずに、追加の機能性を提供するためのユーザインタフェースを効率的に提供する。このような技術は、必要なユーザ入力の数を減少させ、バッテリ電力を節約する。
例示的方法は、1つ以上のカメラ、1つ以上の入力デバイス、及びディスプレイを備える電子デバイスにおいて、ディスプレイ上に、1つ以上のカメラの視野のライブプレビューを含むデジタルビューファインダを含むカメラアプリケーションユーザインタフェースと、デジタルビューファインダ上に重なるフィルタピッカユーザインタフェースの表現と、を同時に表示させることと、デジタルビューファインダ、及びフィルタピッカユーザインタフェースの表現を同時に表示する間に、ライブプレビューのそれぞれの部分に対応する位置にて開始する第1の入力を、1つ以上の入力デバイスを介して検出することと、第1の入力を検出したことに応じて、第1の入力が検出されたときに、フィルタピッカユーザインタフェースがライブプレビューのそれぞれの部分に重なっている要件を含む第1の基準が満たされるという判定に従って、第1のフィルタのプレビューを、第1の入力が検出される前に加えられなかったカメラの視野のライブプレビューに適用することと、第1の入力が検出されるときに、フィルタピッカユーザインタフェースがライブプレビューのそれぞれの部分に重なっていないという判定に従って、第1のフィルタのプレビューをライブプレビューに適用することなく、カメラアプリケーションにてそれぞれの動作を実行することと、を含む。
例示的な非一時的コンピュータ可読記憶媒体は、1つ以上のカメラ、及び1つ以上の入力デバイス、及びディスプレイを備える電子デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する。1つ以上のプログラムは、ディスプレイ上で、1つ以上のカメラの視野のライブプレビューを含むデジタルビューファインダを含むカメラアプリケーションユーザインタフェースと、デジタルビューファインダ上に重なるフィルタピッカユーザインタフェースの表現と、を同時に表示し、デジタルビューファインダ、及びフィルタピッカユーザインタフェースの表現を同時に表示する間に、ライブプレビューのそれぞれの部分に対応する位置にて開始する第1の入力を、1つ以上の入力デバイスを介して検出し、第1の入力を検出したことに応じて、第1の入力が検出されたときに、フィルタピッカユーザインタフェースがライブプレビューのそれぞれの部分に重なっている要件を含む第1の基準が満たされるという判定に従って、第1のフィルタのプレビューを、第1の入力が検出される前に加えられなかったカメラの視野のライブプレビューに加え、第1の入力が検出されるときに、フィルタピッカユーザインタフェースがライブプレビューのそれぞれの部分に重なっていないという判定に従って、第1のフィルタのプレビューをライブプレビューに適用することなく、カメラアプリケーションにてそれぞれの動作を実行する、命令を含む。
例示的な一時的コンピュータ可読記憶媒体は、1つ以上のカメラ、1つ以上の入力デバイス、及びディスプレイを備える電子デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する。1つ以上のプログラムは、ディスプレイ上で、1つ以上のカメラの視野のライブプレビューを含むデジタルビューファインダを含むカメラアプリケーションユーザインタフェースと、デジタルビューファインダ上に重なるフィルタピッカユーザインタフェースの表現と、を同時に表示し、デジタルビューファインダ、及びフィルタピッカユーザインタフェースの表現を同時に表示する間に、ライブプレビューのそれぞれの部分に対応する位置にて開始する第1の入力を、1つ以上の入力デバイスを介して検出し、第1の入力を検出したことに応じて、第1の入力が検出されたときに、フィルタピッカユーザインタフェースがライブプレビューのそれぞれの部分に重なっている要件を含む第1の基準が満たされるという判定に従って、第1のフィルタのプレビューを、第1の入力が検出される前に加えられなかったカメラの視野のライブプレビューに加え、第1の入力が検出されるときに、フィルタピッカユーザインタフェースがライブプレビューのそれぞれの部分に重なっていないという判定に従って、第1のフィルタのプレビューをライブプレビューに適用することなく、カメラアプリケーションにてそれぞれの動作を実行する、命令を含む。
例示的な電子デバイスは、1つ以上のカメラと、1つ以上の入力デバイスと、ディスプレイと、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備える。1つ以上のプログラムは、ディスプレイ上で、1つ以上のカメラの視野のライブプレビューを含むデジタルビューファインダを含むカメラアプリケーションユーザインタフェースと、デジタルビューファインダ上に重なるフィルタピッカユーザインタフェースの表現と、を同時に表示し、デジタルビューファインダ、及びフィルタピッカユーザインタフェースの表現を同時に表示する間に、ライブプレビューのそれぞれの部分に対応する位置にて開始する第1の入力を、1つ以上の入力デバイスを介して検出し、第1の入力を検出したことに応じて、第1の入力が検出されたときに、フィルタピッカユーザインタフェースがライブプレビューのそれぞれの部分に重なっている要件を含む第1の基準が満たされるという判定に従って、第1のフィルタのプレビューを、第1の入力が検出される前に加えられなかったカメラの視野のライブプレビューに加え、第1の入力が検出されるときに、フィルタピッカユーザインタフェースがライブプレビューのそれぞれの部分に重なっていないという判定に従って、第1のフィルタのプレビューをライブプレビューに適用することなく、カメラアプリケーションにてそれぞれの動作を実施する、命令を含む。
例示的な電子デバイスは、1つ以上のカメラと、1つ以上の入力デバイスと、ディスプレイと、ディスプレイ上で、1つ以上のカメラの視野のライブプレビューを含むデジタルビューファインダを含むカメラアプリケーションユーザインタフェースと、デジタルビューファインダ上に重なるフィルタピッカユーザインタフェースの表現と、を同時に表示する手段と、デジタルビューファインダとフィルタピッカユーザインタフェースの表現とを同時に表示しながら、ライブプレビューのそれぞれの部分に対応する位置にて開始する第1の入力を、1つ以上の入力デバイスを介して検出する手段と、第1の入力を検出したことに応じて、第1の入力が検出されたときに、フィルタピッカユーザインタフェースがライブプレビューのそれぞれの部分に重なっている要件を含む第1の基準が満たされるという判定に従って、第1のフィルタのプレビューを、第1の入力が検出される前に加えられなかったカメラの視野のライブプレビューに加え、第1の入力が検出されるときに、フィルタピッカユーザインタフェースがライブプレビューのそれぞれの部分に重なっていないという判定に従って、第1のフィルタのプレビューをライブプレビューに適用することなく、カメラアプリケーションにてそれぞれの動作を実行する手段と、を備える。
例示的な方法は、1つ以上の入力デバイス、及びディスプレイを備える電子デバイスにて、ディスプレイ上に、深度マップ情報と関連付けられた画像データの表現を表示することと、ディスプレイ上に画像データの表現を表示しながら、1つ以上の入力デバイスを介して第1の入力を検出することと、第1の入力を検出したことに従って、画像データの表現に、深度マップ情報に基づく第1の照明効果を適用することと、1つ以上の入力デバイスを介して、第2の入力を検出することと、第2の入力を検出したことに従って、画像データの表現に、第1の照明効果とは異なる、深度マップ情報に基づく第2の照明効果を適用することと、を含む。
例示的な非一時的コンピュータ可読記憶媒体は、1つ以上の入力デバイス、及びディスプレイを備える電子デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する。1つ以上のプログラムは、ディスプレイ上で、深度マップ情報と関連付けられた画像データの表現を表示し、ディスプレイ上に画像データの表現を表示しながら、1つ以上の入力デバイスを介して第1の入力を検出し、第1の入力を検出したことに従って、画像データの表現に、深度マップ情報に基づく第1の照明効果を適用し、1つ以上の入力デバイスを介して、第2の入力を検出することと、第2の入力を検出したことに従って、画像データの表現に、第1の照明効果とは異なる、深度マップ情報に基づく第2の照明効果を適用する、命令を含む。
例示的な一時的コンピュータ可読記憶媒体は、1つ以上の入力デバイス及びディスプレイを備える電子デバイスの1つ以上プロセッサにより実行可能に構成された、1つ以上のプログラムを記憶する。1つ以上のプログラムは、ディスプレイ上で、深度マップ情報と関連付けられた画像データの表現を表示し、ディスプレイ上に画像データの表現を表示しながら、1つ以上の入力デバイスを介して第1の入力を検出し、第1の入力を検出したことに従って、画像データの表現に、深度マップ情報に基づく第1の照明効果を適用し、1つ以上の入力デバイスを介して、第2の入力を検出することと、第2の入力を検出したことに従って、画像データの表現に、第1の照明効果とは異なる、深度マップ情報に基づく第2の照明効果を適用する、命令を含む。
例示的な電子デバイスは、1つ以上の入力デバイスと、ディスプレイと、1つ以上のプロセッサと、1つ以上のプロセッサにより実行可能に構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、ディスプレイ上で、深度マップ情報と関連付けられた画像データの表現を表示し、ディスプレイ上に画像データの表現を表示しながら、1つ以上の入力デバイスを介して第1の入力を検出し、第1の入力を検出したことに従って、画像データの表現に、深度マップ情報に基づく第1の照明効果を適用し、1つ以上の入力デバイスを介して、第2の入力を検出することと、第2の入力を検出したことに従って、画像データの表現に、第1の照明効果とは異なる、深度マップ情報に基づく第2の照明効果を適用する、命令を含む。
例示的な電子デバイスは、1つ以上のカメラと、1つ以上の入力デバイスと、ディスプレイと、ディスプレイ上で、深度マップ情報と関連付けられた画像データの表現を表示する手段と、ディスプレイ上に画像データを表現を表示しながら、1つ以上の入力デバイスを介して、第1の入力を検出し、第1の入力を検出したことに従って、画像データの表現に、深度マップ情報に基づく第1の照明効果を適用し、1つ以上の入力デバイスを介して、第2の入力を検出することと、第2の入力を検出したことに従って、画像データの表現に、第1の照明効果とは異なる、深度マップ情報に基づく第2の照明効果を適用する、手段と、を備える。
例示的な方法は、1つ以上の入力デバイス及びディスプレイを備える電子デバイスにおいて、1つ以上の入力デバイスを介して、第1の外観を有する画像データの表現の、第1の画像フィルタの選択に対応する第1の入力を検出することと、第1の入力を検出したことに応じて、画像データが、画像データの表現の前景領域を、画像データの表現の背景領域と区別可能にする深度情報と関連付けられているという判定に従って、第1の画像フィルタを、第1の画像フィルタが画像データの表現の外観を変化させる第1の程度を示す、第1レベルの調整を有する画像データの表現の前景領域に加え、画像データの表現の前景領域の外観を変化させることと、第1の画像フィルタを、第1の画像フィルタが画像データの表現の外観を変化させる第2の程度を示し、第1レベルの調整とは異なる第2レベルの調整を有する画像データの表現の背景領域に適用して、画像データの表現の背景領域の前記外観を変化させることと、第1の画像フィルタを画像データの表現に適用した後で、ディスプレイに、画像データの表現に適用した第1のフィルタを有するそれぞれの画像の表現を表示することと、を含む、第1の画像フィルタを画像データの表現に適用することと、を含む。
例示的な非一時的コンピュータ可読記憶媒体は、1つ以上の入力デバイス、及びディスプレイを備える電子デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する。1つ以上のプログラムは、1つ以上の入力デバイスを介して、第1の外観を有する画像データの表現の、第1の画像フィルタの選択に対応する第1の入力を検出し、第1の入力を検出したことに応じて、画像データが、画像データの表現の前景領域を、画像データの表現の背景領域と区別可能にする深度情報と関連付けられているという判定に従って、第1の画像フィルタを、第1の画像フィルタが画像データの表現の外観を変化させる第1の程度を示す、第1レベルの調整を有する画像データの表現の前景領域に適用して、画像データの表現の前景領域の外観を変化させることと、第1の画像フィルタを、第1の画像フィルタが画像データの表現の外観を変化させる第2の程度を示し、第1レベルの調整とは異なる第2レベルの調整を有する画像データの表現の背景領域に適用して、画像データの表現の背景領域の前記外観を変化させることと、第1の画像フィルタを画像データの表現に適用した後で、ディスプレイに、画像データの表現に適用した第1のフィルタを有するそれぞれの画像の表現を表示することと、を含む、第1の画像フィルタを画像データの表現に適用する、命令を含む。
例示的な一時的コンピュータ可読記憶媒体は、1つ以上の入力デバイス及びディスプレイを備えた電子デバイスの1つ以上プロセッサにより実行可能に構成された、1つ以上のプログラムを記憶する。1つ以上のプログラムは、1つ以上の入力デバイスを介して、第1の外観を有する画像データの表現の、第1の画像フィルタの選択に対応する第1の入力を検出し、第1の入力を検出したことに応じて、画像データが、画像データの表現の前景領域を、画像データの表現の背景領域と区別可能にする深度情報と関連付けられているという判定に従って、第1の画像フィルタを、第1の画像フィルタが画像データの表現の外観を変化させる第1の程度を示す、第1レベルの調整を有する画像データの表現の前景領域に加え、画像データの表現の前景領域の外観を変化させることと、第1の画像フィルタを、第1の画像フィルタが画像データの表現の外観を変化させる第2の程度を示し、第1レベルの調整とは異なる第2レベルの調整を有する画像データの表現の背景領域に適用して、画像データの表現の背景領域の前記外観を変化させることと、第1の画像フィルタを画像データの表現に適用した後で、ディスプレイに、画像データの表現に適用した第1のフィルタを有するそれぞれの画像の表現を表示することと、を含む、第1の画像フィルタを画像データの表現に適用する、命令を含む。
例示的な電子デバイスは、1つ以上の入力デバイスと、ディスプレイと、1つ以上のプロセッサと、1つ以上のプロセッサにより実行可能に構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、1つ以上の入力デバイスを介して、第1の外観を有する画像データの表現の、第1の画像フィルタの選択に対応する第1の入力を検出し、第1の入力を検出したことに応じて、画像データが、画像データの表現の前景領域を、画像データの表現の背景領域と区別可能にする深度情報と関連付けられているという判定に従って、第1の画像フィルタを、第1の画像フィルタが画像データの表現の外観を変化させる第1の程度を示す、第1レベルの調整を有する画像データの表現の前景領域に加え、画像データの表現の前景領域の外観を変化させることと、第1の画像フィルタを、第1の画像フィルタが画像データの表現の外観を変化させる第2の程度を示し、第1レベルの調整とは異なる第2レベルの調整を有する画像データの表現の背景領域に適用して、画像データの表現の背景領域の前記外観を変化させることと、第1の画像フィルタを画像データの表現に適用した後で、ディスプレイに、画像データの表現に適用した第1のフィルタを有するそれぞれの画像の表現を表示することと、を含む、第1の画像フィルタを画像データの表現に適用する、命令を含む。
例示的な電子デバイスは、1つ以上の入力デバイスと、ディスプレイと、1つ以上の入力デバイスを介して、第1の外観を有する画像データの表現の、第1の画像フィルタの選択に対応する第1の入力を検出する手段と、第1の入力を検出したことに応じて、画像データが、画像データの表現の前景領域を、画像データの表現の背景領域と区別可能にする深度情報と関連付けられているという判定に従って、第1の画像フィルタを、第1の画像フィルタが画像データの表現の外観を変化させる第1の程度を示す、第1レベルの調整を有する画像データの表現の前景領域に加え、画像データの表現の前景領域の外観を変化させ、第1の画像フィルタを、第1の画像フィルタが画像データの表現の外観を変化させる第2の程度を示し、第1レベルの調整とは異なる第2レベルの調整を有する画像データの表現の背景領域に適用して、画像データの表現の背景領域の前記外観を変化させ、第1の画像フィルタを画像データの表現に適用した後で、ディスプレイに、画像データの表現に適用した第1のフィルタを有するそれぞれの画像の表現を表示する手段を含む、第1の画像フィルタを画像データの表現に適用する手段と、を備える。
例示的な方法は、1つ以上の入力デバイス及びディスプレイを備える電子デバイスにおいて、ディスプレイ上に、一連のフィルタの中の複数のフィルタの表現を含むフィルタ選択インタフェースを表示することと、ディスプレイ上に、画像データの表現及びフィルタ選択インタフェースを同時に表示している間に、1つ以上の入力デバイスを介して、一連のフィルタの第1のフィルタが選択基準を満たす間に、フィルタ選択インタフェースに対応する位置にある第1の入力を検出することと、第1の入力を検出したことに応じて、フィルタ選択ユーザインタフェースの第1のフィルタの表現から第1方向に、1つ以上のフィルタ、及び、第1のフィルタの表現から第2方向に、1つ以上のフィルタを含む、一連のフィルタのうちの複数のフィルタの表現の第1サブセットを停止することと、一連のフィルタのうちの、少なくとも第1のフィルタの表現を含む複数のフィルタの表現の第2サブセットの表示を維持することと、を含む。
例示的な非一時的コンピュータ可読記憶媒体は、1つ以上の入力デバイス、及びディスプレイを備える電子デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する。1つ以上のプログラムは、ディスプレイに、一連のフィルタの中の複数のフィルタの表現を含むフィルタ選択インタフェースを表示し、ディスプレイ上に、画像データの表現及びフィルタ選択インタフェースを同時に表示している間に、1つ以上の入力デバイスを介して、一連のフィルタの第1のフィルタが選択基準を満たす間に、フィルタ選択インタフェースに対応する位置にある第1の入力を検出し、第1の入力を検出したことに応じて、フィルタ選択ユーザインタフェースの第1のフィルタの表現から第1方向に、1つ以上のフィルタ、及び、第1のフィルタの表現から第2方向に、1つ以上のフィルタを含む、一連のフィルタのうちの複数のフィルタの表現の第1サブセットを停止し、一連のフィルタのうちの、少なくとも第1のフィルタの表現を含む複数のフィルタの表現の第2サブセットの表示を維持する、命令を含む。
例示的な一時的コンピュータ可読記憶媒体は、1つ以上の入力デバイス及びディスプレイを備える電子デバイスの1つ以上プロセッサにより実行可能に構成された、1つ以上のプログラムを記憶する。1つ以上のプログラムは、ディスプレイに、一連のフィルタの中の複数のフィルタの表現を含むフィルタ選択インタフェースを表示し、ディスプレイ上に、画像データの表現及びフィルタ選択インタフェースを同時に表示している間に、1つ以上の入力デバイスを介して、一連のフィルタの第1のフィルタが選択基準を満たす間に、フィルタ選択インタフェースに対応する位置にある第1の入力を検出し、第1の入力を検出したことに応じて、フィルタ選択ユーザインタフェースの第1のフィルタの表現から第1方向に、1つ以上のフィルタ、及び、第1のフィルタの表現から第2方向に、1つ以上のフィルタを含む、一連のフィルタのうちの複数のフィルタの表現の第1サブセットを停止し、一連のフィルタのうちの、少なくとも第1のフィルタの表現を含む複数のフィルタの表現の第2サブセットの表示を維持する、命令を含む。
例示的な電子デバイスは、1つ以上の入力デバイスと、ディスプレイと、1つ以上のプロセッサと、1つ以上のプロセッサにより実行可能に構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、ディスプレイ上に、一連のフィルタの中の複数のフィルタの表現を含むフィルタ選択インタフェースを表示し、ディスプレイ上に、画像データの表現及びフィルタ選択インタフェースを同時に表示している間に、1つ以上の入力デバイスを介して、一連のフィルタの第1のフィルタが選択基準を満たす間に、フィルタ選択インタフェースに対応する位置にある第1の入力を検出し、第1の入力を検出したことに応じて、フィルタ選択ユーザインタフェースの第1のフィルタの表現から第1方向に、1つ以上のフィルタ、及び、第1のフィルタの表現から第2方向に、1つ以上のフィルタを含む、一連のフィルタのうちの複数のフィルタの表現の第1サブセットを停止し、一連のフィルタのうちの、少なくとも第1のフィルタの表現を含む複数のフィルタの表現の第2サブセットの表示を維持する、命令を含む。
例示的な電子デバイスは、1つ以上の入力デバイスと、ディスプレイと、ディスプレイ上に、一連のフィルタの中の複数のフィルタの表現を含むフィルタ選択インタフェースを表示する手段と、ディスプレイ上に画像データの表現及びフィルタ選択インタフェースを同時に表現しながら、1つ以上の入力デバイスを介して、一連のフィルタの第1のフィルタが選択基準を満たしながらフィルタ選択インタフェースに対応する位置において、第1の入力を検出する手段と、第1の入力を検出したことに応じて、フィルタ選択ユーザインタフェースの第1のフィルタの表現から第1方向に、1つ以上のフィルタ、及び、第1のフィルタの表現から第2方向に、1つ以上のフィルタを含む、一連のフィルタのうちの複数のフィルタの表現の第1サブセットを中止し、一連のフィルタのうちの、少なくとも第1のフィルタの表現を含む複数のフィルタの表現の第2サブセットの表示を維持する手段と、を備える。
例示的な方法は、カメラ、センサ、1つ以上の入力デバイス、及びディスプレイを備える電子デバイスにおいて、ディスプレイ上に、メディアをキャプチャするためのカメラビューファインダを表示することと、カメラビューファインダを表示しながら、センサからのデータに基づいて、デバイスが、カメラの焦点の平面の向きと、所定の向きとの相対差が、満たされるべき位置調整ガイド表示基準のために、それぞれの位置調整閾値内であるという要件を含む位置調整ガイド表示基準を満たすという判定に従って、ディスプレイ上に、カメラの焦点の平面の向きが所定の向きに対して変化すると外観が変化する、カメラビューファインダ内の位置調整ガイドを表示することと、センサからのデータに基づいて、位置調整ガイド表示基準が満たされていないという判定に従って、カメラビューファインダ内に位置調整ガイドを表示することを取り止めることと、を含む。
例示的な非一時的コンピュータ可読記憶媒体は、カメラ、センサ、1つ以上の入力デバイス、及びディスプレイを備える電子デバイスの1つ以上のプロセッサにより実行可能に構成された、1つ以上のプログラムを記憶する。1つ以上のプログラムは、ディスプレイ上に、メディアをキャプチャするためのカメラビューファインダを表示し、カメラビューファインダを表示しながら、センサからのデータに基づいて、デバイスが、カメラの焦点の平面の向きと、所定の向きとの相対差が、満たされるべき位置調整ガイド表示基準のために、それぞれの位置調整閾値内であるという要件を含む位置調整ガイド表示基準を満たすという判定に従って、ディスプレイ上に、カメラの焦点の平面の向きが所定の向きに対して変化すると外観が変化する、カメラビューファインダ内の位置調整ガイドを表示し、センサからのデータに基づいて、位置調整ガイド表示基準が満たされていないという判定に従って、カメラビューファインダ内に位置調整ガイドを表示することを取り止める、命令を含む。
例示的な一時的コンピュータ可読記憶媒体は、カメラ、センサ、1つ以上の入力デバイス、及びディスプレイを備えた電子デバイスの1つ以上のプロセッサにより実行可能に構成された、1つ以上のプログラムを記憶する。1つ以上のプログラムは、ディスプレイ上に、メディアをキャプチャするためのカメラビューファインダを表示し、カメラビューファインダを表示しながら、センサからのデータに基づいて、デバイスが、カメラの焦点の平面の向きと、所定の向きとの相対差が、満たされるべき位置調整ガイド表示基準のために、それぞれの位置調整閾値内であるという要件を含む位置調整ガイド表示基準を満たすという判定に従って、ディスプレイ上に、カメラの焦点の平面の向きが所定の向きに対して変化すると外観が変化する、カメラビューファインダ内の位置調整ガイドを表示し、センサからのデータに基づいて、位置調整ガイド表示基準が満たされていないという判定に従って、カメラビューファインダ内に位置調整ガイドを表示することを取り止める、命令を含む。
例示的な電子デバイスは、カメラと、センサと、1つ以上の入力デバイスと、ディスプレイと、1つ以上のプロセッサと、1つ以上のプロセッサにより実行可能に構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、ディスプレイ上に、メディアをキャプチャするためのカメラビューファインダを表示し、カメラビューファインダを表示しながら、センサからのデータに基づいて、デバイスが、カメラの焦点の平面の向きと、所定の向きとの相対差が、満たされるべき位置調整ガイド表示基準のために、それぞれの位置調整閾値内であるという要件を含む位置調整ガイド表示基準を満たすという判定に従って、ディスプレイ上に、カメラの焦点の平面の向きが所定の向きに対して変化すると外観が変化する、カメラビューファインダ内の位置調整ガイドを表示し、センサからのデータに基づいて、位置調整ガイド表示基準が満たされていないという判定に従って、カメラビューファインダ内に位置調整ガイドを表示することを取り止める、命令を含む。
例示的な電子デバイスは、カメラと、センサと、1つ以上の入力デバイスと、ディスプレイと、ディスプレイ上に、メディアをキャプチャするためのカメラビューファインダを表示する手段と、カメラビューファインダを表示しながら、センサからのデータに基づいて、デバイスが、カメラの焦点の平面の向きと、所定の向きとの相対差が、満たされるべき位置調整ガイド表示基準のために、それぞれの位置調整閾値内であるという要件を含む位置調整ガイド表示基準を満たすという判定に従って、ディスプレイ上に、カメラの焦点の平面の向きが所定の向きに対して変化すると外観が変化する、カメラビューファインダ内の位置調整ガイドを表示し、センサからのデータに基づいて、位置調整ガイド表示基準が満たされていないという判定に従って、カメラビューファインダ内に位置調整ガイドを表示することを取り止める手段と、を備える。
例示的な方法は、1つ以上の入力デバイス、1つ以上のカメラ、及びディスプレイを備える電子デバイスにおいて、ディスプレイ上で、深度マップ情報と関連付けられた画像データの表現を表示することと、ディスプレイ上に画像データの表現を表示しながら、1つ以上の入力デバイスを介して、深度マップ情報に基づいて複数の照明効果のそれぞれのフィルタを選択する第1の入力を検出することと、第1の入力を検出した後で、1つ以上のカメラの視野に対応する画像データをキャプチャする要求に対応する第2の入力を検出することと、第2の入力を検出したことに応じて、第1の入力に基づいて選択されたそれぞれの照明効果が、深度マップ情報に基づく第1の照明効果であるという判定に従って、1つ以上のカメラの視野に対応する画像データをキャプチャして、第1の照明効果を画像データの表現に関連付けることと、及び、第1の入力に基づいて選択されたそれぞれの照明効果が、第1の照明効果とは異なる、深度マップ情報に基づく第2の照明効果であるという判定に従って、1つ以上のカメラの視野に対応する画像データをキャプチャして、第2の照明効果を画像データの表現に関連付けることと、を含む、1つ以上のカメラの視野に対応する画像データをキャプチャすることと、を含む。
例示的な非一時的コンピュータ可読記憶媒体は、1つ以上の入力デバイス、1つ以上のカメラ、及びディスプレイを備える電子デバイスの1つ以上のプロセッサにより実行可能に構成された、1つ以上のプログラムを記憶する。1つ以上のプログラムは、ディスプレイ上で、深度マップ情報と関連付けられた画像データの表現を表示し、ディスプレイ上に画像データの表現を表示しながら、1つ以上の入力デバイスを介して、深度マップ情報に基づいて複数の照明効果のそれぞれのフィルタを選択する第1の入力を検出し、第1の入力を検出した後で、1つ以上のカメラの視野に対応する画像データをキャプチャする要求に対応する第2の入力を検出することと、第2の入力を検出したことに応じて、第1の入力に基づいて選択されたそれぞれの照明効果が、深度マップ情報に基づく第1の照明効果であるという判定に従って、1つ以上のカメラの視野に対応する画像データをキャプチャして、第1の照明効果を画像データの表現に関連付けることと、及び、第1の入力に基づいて選択されたそれぞれの照明効果が、第1の照明効果とは異なる、深度マップ情報に基づく第2の照明効果であるという判定に従って、1つ以上のカメラの視野に対応する画像データをキャプチャして、第2の照明効果を画像データの表現に関連付けることと、を含む、1つ以上のカメラの視野に対応する画像データをキャプチャする、命令を含む。
例示的な一時的コンピュータ可読記憶媒体は、1つ以上の入力デバイス、1つ以上のカメラ、及びディスプレイを備えた電子デバイスの1つ以上のプロセッサにより実行可能に構成された、1つ以上のプログラムを記憶する。1つ以上のプログラムは、ディスプレイ上で、深度マップ情報と関連付けられた画像データの表現を表示し、ディスプレイ上に画像データの表現を表示しながら、1つ以上の入力デバイスを介して、深度マップ情報に基づいて複数の照明効果のそれぞれのフィルタを選択する第1の入力を検出し、第1の入力を検出した後で、1つ以上のカメラの視野に対応する画像データをキャプチャする要求に対応する第2の入力を検出し、第2の入力を検出したことに応じて、第1の入力に基づいて選択されたそれぞれの照明効果が、深度マップ情報に基づく第1の照明効果であるという判定に従って、1つ以上のカメラの視野に対応する画像データをキャプチャして、第1の照明効果を画像データの表現に関連付けること、及び、第1の入力に基づいて選択されたそれぞれの照明効果が、第1の照明効果とは異なる、深度マップ情報に基づく第2の照明効果であるという判定に従って、1つ以上のカメラの視野に対応する画像データをキャプチャして、第2の照明効果を画像データの表現に関連付けることと、を含む、1つ以上のカメラの視野に対応する画像データをキャプチャする、命令を含む。
例示的な電子デバイスは、1つ以上の入力デバイスと、1つ以上のカメラと、ディスプレイと、1つ以上のプロセッサと、1つ以上のプロセッサにより実行可能に構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、ディスプレイ上で、深度マップ情報と関連付けられた画像データの表現を表示し、ディスプレイ上に画像データの表現を表示しながら、1つ以上の入力デバイスを介して、深度マップ情報に基づいて複数の照明効果のそれぞれのフィルタを選択する第1の入力を検出し、第1の入力を検出した後で、1つ以上のカメラの視野に対応する画像データをキャプチャする要求に対応する第2の入力を検出し、第2の入力を検出したことに応じて、第1の入力に基づいて選択されたそれぞれの照明効果が、深度マップ情報に基づく第1の照明効果であるという判定に従って、1つ以上のカメラの視野に対応する画像データをキャプチャして、第1の照明効果を画像データの表現に関連付けることと、及び、第1の入力に基づいて選択されたそれぞれの照明効果が、第1の照明効果とは異なる、深度マップ情報に基づく第2の照明効果であるという判定に従って、1つ以上のカメラの視野に対応する画像データをキャプチャして、第2の照明効果を画像データの表現に関連付けることと、を含む、1つ以上のカメラの視野に対応する画像データをキャプチャする、命令を含む。
例示的な電子デバイスは、1つ以上の入力デバイスと、1つ以上のカメラと、ディスプレイと、ディスプレイ上で、深度マップ情報と関連付けられた画像データの表現を表示する手段と、ディスプレイ上に画像データの表現を表示しながら、ディスプレイ上で、深度マップ情報と関連付けられた画像データの表現を表示し、ディスプレイ上に画像データの表現を表示しながら、1つ以上の入力デバイスを介して、深度マップ情報に基づいて複数の照明効果のそれぞれのフィルタを選択する第1の入力を検出し、第1の入力を検出した後で、1つ以上のカメラの視野に対応する画像データをキャプチャする要求に対応する第2の入力を検出し、第2の入力を検出したことに応じて、第1の入力に基づいて選択されたそれぞれの照明効果が、深度マップ情報に基づくf第1の照明効果であるという判定に従って、1つ以上のカメラの視野に対応する画像データをキャプチャして、第1の照明効果を画像データの表現に関連付けることと、及び、第1の入力に基づいて選択されたそれぞれの照明効果が、第1の照明効果とは異なる、深度マップ情報に基づく第2の照明効果であるという判定に従って、1つ以上のカメラの視野に対応する画像データをキャプチャして、第2の照明効果を画像データの表現に関連付けることと、を含む、1つ以上のカメラの視野に対応する画像データをキャプチャする、手段と、を備える。
これらの機能を実行する実行可能な命令は、任意選択的に、1つ以上のプロセッサによって実行されるように構成された非一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。これらの機能を実行する実行可能な命令は、任意選択的に、1つ以上のプロセッサによって実行されるように構成された一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。
このため、カメラ効果を管理するための、より速く、より効率的な方法及インタフェースがデバイスに提供され、それによって、このようなデバイスの有効性、効率、及びユーザ満足度が増す。このような方法及びインタフェースは、カメラ効果を管理するための他の方法を補完する又は置き換えることができる。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態によるタッチ感知ディスプレイを有するポータブル多機能デバイスを示すブロック図である。 いくつかの実施形態によるイベント処理のための例示的な構成要素を示すブロック図である。 いくつかの実施形態によるタッチスクリーンを有するポータブル多機能デバイスを示す。 いくつかの実施形態によるディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。 いくつかの実施形態によるポータブル多機能デバイス上のアプリケーションのメニューの例示的なユーザインタフェースを示す。 いくつかの実施形態によるディスプレイとは別個のタッチ感知面を有する多機能デバイスの例示的なユーザインタフェースを示す。 いくつかの実施形態によるパーソナル電子デバイスを示す。 いくつかの実施形態によるパーソナル電子デバイスを示すブロック図である。 いくつかの実施形態に係るタッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す。 いくつかの実施形態に係るタッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す。 いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、カメラ照明効果を管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、カメラ照明効果を管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、カメラ照明効果を管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、カメラ照明効果を管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、カメラ照明効果を管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、カメラ照明効果を適用するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を適用するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を適用するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を適用するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を適用するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を適用するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を適用するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を適用するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を適用するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を適用するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、カメラ照明効果を適用するための方法を示すフローチャートである。 いくつかの実施形態に係る、カメラ照明効果を適用するための方法を示すフローチャートである。 いくつかの実施形態に係る、カメラ照明効果を適用するための方法を示すフローチャートである。 いくつかの実施形態に係る、カメラ照明効果を適用するための方法を示すフローチャートである。 いくつかの実施形態に係る、フィルタ効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタ効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタ効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタ効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタ効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタ効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタ効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタ効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタ効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタ効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタ効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタ効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタ効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタ効果を管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタ効果を管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、フィルタ効果を管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、フィルタ効果を管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、フィルタユーザインタフェースを管理するための方法を示すフローチャートである。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための方法を示すフローチャートである。 いくつかの実施形態に係る、画像をキャプチャするための方法を示すフローチャートである。 いくつかの実施形態に係る、画像をキャプチャするための方法を示すフローチャートである。 いくつかの実施形態に係る、画像をキャプチャするための方法を示すフローチャートである。 いくつかの実施形態に係る、画像をキャプチャするための方法を示すフローチャートである。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための例示的デバイス及びユーザインタフェースを示す。 いくつかの実施形態に係る、画像をキャプチャするための方法を示すフローチャートである。 いくつかの実施形態に係る、画像をキャプチャするための方法を示すフローチャートである。 いくつかの実施形態に係る、画像をキャプチャするための方法を示すフローチャートである。 いくつかの実施形態に係る、画像をキャプチャするための方法を示すフローチャートである。 いくつかの実施形態に係る、画像をキャプチャするための方法を示すフローチャートである。 いくつかの実施形態に係る、画像をキャプチャするための方法を示すフローチャートである。 いくつかの実施形態に係る、画像をキャプチャするための方法を示すフローチャートである。
以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、代わりに例示的な実施形態の説明として提供されることを認識されたい。
電子デバイスは、より高度なカメラ特徴及びセンサを用いて設計及び製造されている。しかしながら、いくつかの電子デバイスは、その設計の性質により、追加のハードウェアを含まない光点写真の豊かさをキャプチャすることができない。光点撮影技術の多くは、対象の周囲に配置される多数の高価な光源、及び別個のバックドロップを必要とする。しかしながら、多くの電子デバイスは、1方向に光を放出する単一のフラッシュのみを有する。その結果、光点撮影技術の多くは、従来の電子デバイスを介して単に達成することができない。
本明細書に記載される実施形態は、改良されたカメラ機能を提供するために深度マップ情報を利用する電子デバイスを含む。いくつかの実施形態では、深度マップ情報は、フィルタを画像に適用する際に使用される。いくつかの実施形態では、ユーザが完全な画像をキャプチャするのを助けるための視覚的補助具が提供される。記載された実施形態はまた、これらの改良されたカメラ機能を可能にする相補的ユーザインタフェースを含む。
また、記載される実施形態は、デバイスのカメラ光学機能の性能を向上させながら、薄くかつ軽量なデバイスの効率的なパッケージング及び製造を可能にする。固定焦点距離カメラを使用することは、薄くかつ小さいので有利である。
以下に、図1A~図1B、図2、図3、図4A~図4B、及び図5A~図5Hは、イベント通知を管理する技法を行うための例示的なデバイスの説明を提供する。図6A~図6Nは、ユーザインタフェースを管理するための例示的なユーザインタフェースを示す。図7は、いくつかの実施形態に係る、ユーザインタフェースの管理方法を示すフローチャートである。図6A~図6Gのユーザインタフェースは、図7のプロセスを含む、後述のプロセスを示すために使用される。
図8A~図8Jは、疑似的照明効果を適用するための例示的なユーザインタフェースを説明する。図9は、いくつかの実施形態に係る、照明効果をシミュレートする方法を示すフロー図である。図8A~図8Dのユーザインタフェースは、図9のプロセスを含む後述のプロセスを示すために使用される。
図10A~図10Nは、画像にフィルタを適用するための例示的なユーザインタフェースを示す。図11は、いくつかの実施形態に係る、画像にフィルタを適用する方法を示すフローチャートである。図10A~図10Dのユーザインタフェースは、図11のプロセスを含む後述のプロセスを示すために使用される。
図12A~図12Pは、低下したフィルタユーザインタフェースを表示するための例示的なユーザインタフェースを示す。図13は、いくつかの実施形態に係る、低下したフィルタユーザインタフェースを表示する方法を示すフローチャートである。図12A~図12Dのユーザインタフェースは、図13のプロセスを含む、後述のプロセスを示すために使用される。
図14A~図14Kは、視覚資料を提供するための例示的なユーザインタフェースを示す。図15は、いくつかの実施形態に係る、視覚資料を提供する方法を示すフローチャートである。図14A~図14Dのユーザインタフェースは、図15のプロセスを含む、後述のプロセスを示すために使用される。
図16A~図16Jは、疑似的光学効果を適用したときに視覚資料を提供するための、例示的なユーザインタフェースを示す。図17は、いくつかの実施形態に係る、疑似的光学効果を適用したときに視覚資料を提供する方法を示すフローチャートである。図16A~図16Jのユーザインタフェースは、図17のプロセスを含む、後述のプロセスを示すために使用される。
以下の説明では、様々な要素について説明するために、「第1の」、「第2の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第1のタッチを第2のタッチと呼ぶこともでき、同様に第2のタッチを第1のタッチと呼ぶこともできる。第1のタッチ及び第2のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「a(1つ、一)」、「an(1つ、一)」、及び「the(その、この)」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び/又は」は、関連する列挙された項目のうちの1つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「includes(含む)」、「including(含む)」、「comprises(含む、備える)」、及び/又は「comprising(含む、備える)」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
「~の場合(if)」という用語は、任意選択的に、文脈に応じて、「~とき(when)」若しくは「~とき(upon)」、又は「~と判定したことに応じて(in response to determining)」若しくは「~を検出したことに応じて(in response to detecting)」を意味すると解釈される。同様に、「~と判定された場合(if it is determined)」又は「[記載の状態又はイベント]が検出された場合(if[a stated condition or event]is detected)」という語句は、任意選択的に、文脈に応じて、「~と判定したとき(upon determining)」若しくは「~と判定したことに応じて(in response to determining)」、又は「[記載の状態又はイベント]を検出したとき(upon detecting[the stated condition or event])」若しくは「[記載の状態又はイベント]を検出したことに応じて(in response to detecting[the stated condition or event])」を意味すると解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、PDA機能及び/又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのApple Inc.からのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面を有するラップトップ又はタブレットコンピュータ(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)などの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面を有するデスクトップコンピュータ(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)であることも理解されたい。
以下の論考では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、及び/又はジョイスティックなどの1つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
デバイスは、典型的には、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び/又はデジタルビデオプレーヤアプリケーションのうちの1つ以上などの様々なアプリケーションに対応する。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも1つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の1つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び/又はそれぞれのアプリケーション内で、任意選択的に、調節及び/又は変更される。このように、デバイスの共通の物理アーキテクチャ(タッチ感知面など)は、任意選択的に、ユーザにとって直観的かつ透過的なユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図1Aは、いくつかの実施形態によるタッチ感知ディスプレイシステム112を有するポータブル多機能デバイス100を示すブロック図である。タッチ感知ディスプレイ112は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス100は、メモリ102(任意選択的に、1つ以上のコンピュータ可読記憶媒体を含む)、メモリコントローラ122、1つ以上の処理ユニット(CPU)120、周辺機器インタフェース118、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、入出力(I/O)サブシステム106、他の入力コントロールデバイス116、及び外部ポート124を含む。デバイス100は、任意選択的に、1つ以上の光センサ164を含む。デバイス100は、任意選択的に、デバイス100上の接触の強度を検出する1つ以上の接触強度センサ165(例えば、デバイス100のタッチ感知ディスプレイシステム112などのタッチ感知面)を含む。デバイス100は、任意選択的に、デバイス100上で触知出力を生成する(例えばデバイス100のタッチ感知ディスプレイシステム112又はデバイス300のタッチパッド355などのタッチ感知面上で触知出力を生成する)1つ以上の触知出力生成器167を含む。これらの構成要素は、任意選択的に、1つ以上の通信バス又は信号ライン103を介して通信する。
本明細書及び特許請求の範囲では、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指の接触)の力若しくは圧力(単位面積当たりの力)、又はタッチ感知面上の接触の力若しくは圧力に対する代理(プロキシ)を指す。接触の強度は、少なくとも4つの別個の値を含み、より典型的には、数百の(例えば、少なくとも256の)別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して、特定(又は測定)される。例えば、タッチ感知面の下又はそれに隣接する1つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値は、接触の推定される力を判定するために組み合わされる(例えば、加重平均)。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を特定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズ及び/若しくはその変化、接触に近接するタッチ感知面の電気容量及び/若しくはその変化、並びに/又は、接触に近接するタッチ感知面の抵抗及び/若しくはその変化は、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。いくつかの実装形態では、接触の力又は圧力のための代替測定値は、強度閾値を超えているかどうかを判定するために直接使用される(例えば、強度閾値は、代替測定値に対応する単位で記述される)。いくつかの実装形態では、接触力又は圧力に対する代理測定は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超過したかどうかを判定するために使用される(例えば、強度閾値は、圧力の単位で測定される圧力閾値である)。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを(例えば、タッチ感知ディスプレイ上に)表示するための、及び/又は、ユーザ入力を(例えば、タッチ感知ディスプレイ、タッチ感知面、又は、ノブ若しくはボタンなどの物理的/機械的制御部を介して)受信するための面積が制限されている、低減されたサイズのデバイス上で、通常であればユーザによってアクセスすることが不可能であり得る追加のデバイス機能への、ユーザのアクセスが可能となる。
本明細書及び特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素(例えば、タッチ感知面)の、そのデバイスの別の構成要素(例えば、筐体)に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、ユーザの手の指、手のひら、又は他の部分)に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はトラックパッド)の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。いくつかの場合、ユーザの動作により物理的に押された(例えば、変位された)タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知(例えば、「アップクリック」「ダウンクリック」、「粗さ」)に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な(又は、平均的な)ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス100は、ポータブル多機能デバイスの一例に過ぎず、デバイス100は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、2つ以上の構成要素を組み合わせるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図1Aに示す様々な構成要素は、1つ以上の信号処理回路及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組み合わせで実施される。
メモリ102は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ122は、任意選択的に、デバイス100の他の構成要素によるメモリ102へのアクセスを制御する。
周辺機器インタフェース118は、デバイスの入力及び出力周辺機器をCPU120及びメモリ102に結合するために使用することができる。1つ以上のプロセッサ120は、メモリ102に記憶された様々なソフトウェアプログラム及び/又は命令セットを動作させる、又は実行して、デバイス100のための様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース118、CPU120、及びメモリコントローラ122は、任意選択的に、チップ104などの単一のチップ上で実施される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
RF(radio frequency)(無線周波数)回路108は、電磁信号とも呼ばれるRF信号を送受信する。RF回路108は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路108は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(subscriber identity module、SIM)カード、メモリなどが挙げられる。RF回路108は、任意選択的に、ワールドワイドウェブ(World Wide Web、WWW)とも呼ばれるインターネット、イントラネット、並びに/又はセルラー電話ネットワーク、無線ローカルエリアネットワーク(local area network、LAN)及び/若しくはメトロポリタンエリアネットワーク(metropolitan area network、MAN)などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。RF回路108は、任意選択的に、短距離通信無線機などによって近距離通信(near field communication、NFC)フィールドを検出するよく知られている回路を含む。無線通信は、任意選択的に、それだけに限定されるものではないが、動き通信用のグローバルシステム(Global System for Mobile Communications、GSM)、拡張データGSM環境(Enhanced Data GSM Environment、EDGE)、高速ダウンリンクパケットアクセス(high-speed downlink packet access、HSDPA)、高速アップリンクパケットアクセス(high-speed uplink packet access、HSUPA)、エボリューションデータオンリ(Evolution,Data-Only、EV-DO)、HSPA、HSPA+、デュアルセルHSPA(Dual-Cell HSPA、DC-HSPDA)、ロングタームエボリューション(long term evolution、LTE)、近距離通信(NFC)、広帯域符号分割多元接続(wideband code division multiple access、W-CDMA)、符号分割多元接続(code division multiple access、CDMA)、時分割多元接続(time division multiple access、TDMA)、Bluetooth(登録商標)、Bluetoothローエネルギー(Bluetooth Low Energy、BTLE(登録商標))、ワイヤレスフィデリティ(Wireless Fidelity、Wi-Fi(登録商標))(例えば、IEEE 802.11a、IEEE 802.11b、IEEE 802.11g、IEEE 802.11n、及び/若しくはIEEE 802.11ac)、ボイスオーバインターネットプロトコル(voice over Internet Protocol、VoIP)、Wi-MAX(登録商標)、電子メール用プロトコル(例えば、インターネットメッセージアクセスプロトコル(Internet message access protocol、IMAP)及び/若しくはポストオフィスプロトコル(post office protocol、POP))、インスタントメッセージング(例えば、拡張可能なメッセージング及びプレゼンスプロトコル(extensible messaging and presence protocol、XMPP)、インスタントメッセージング及びプレゼンスレベレイジングエクステンションのためのセッション開始プロトコル(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、SIMPLE)、インスタントメッセージング及びプレゼンスサービス(Instant Messaging and Presence Service、IMPS))、並びに/若しくはショートメッセージサービス(Short Message Service、SMS)、又は本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適した通信プロトコルを含む、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
オーディオ回路110、スピーカ111、及びマイクロフォン113は、ユーザとデバイス100との間のオーディオインタフェースを提供する。オーディオ回路110は、周辺機器インタフェース118からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ111に伝送する。スピーカ111は、電気信号を人間の可聴音波に変換する。また、オーディオ回路110は、マイクロフォン113によって音波から変換された電気信号を受信する。オーディオ回路110は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース118に伝送する。オーディオデータは、任意選択的に、周辺機器インタフェース118によって、メモリ102及び/若しくはRF回路108から取得され、かつ/又はメモリ102及び/若しくはRF回路108に伝送される。いくつかの実施形態では、オーディオ回路110はまた、ヘッドセットジャック(例えば、図2の212)を含む。ヘッドセットジャックは、オーディオ回路110と、出力専用ヘッドホン又は出力(例えば片耳又は両耳用のヘッドホン)及び入力(例えばマイクロフォン)の両方を有するヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
I/Oサブシステム106は、タッチスクリーン112及び他の入力コントロールデバイス116などのデバイス100上の入出力周辺機器を、周辺機器インタフェース118に結合する。I/Oサブシステム106は、任意選択的に、ディスプレイコントローラ156、光センサコントローラ158、強度センサコントローラ159、触覚フィードバックコントローラ161、深度カメラコントローラ169、及び他の入力又は制御デバイス用の1つ以上の入力コントローラ160を含む。1つ以上の入力コントローラ160は、他の入力コントロールデバイス116からの電気信号の受信/他の入力コントロールデバイス116への電気信号の送信を行う。他の入力コントロールデバイス116は、任意選択的に、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替実施形態では、入力コントローラ160は、任意選択的に、キーボード、赤外線ポート、USBポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される(又はいずれにも結合されない)。1つ以上のボタン(例えば、図2の208)は、任意選択的に、スピーカ111及び/又はマイクロフォン113の音量コントロールのための上下ボタンを含む。1つ以上のボタンは、任意選択的に、プッシュボタン(例えば、図2の206)を含む。
全体として参照により本明細書に組み込まれている、2005年12月23日出願の米国特許出願第11/322,549号、「Unlocking a Device by Performing Gestures on an Unlock Image」、米国特許第7,657,849号に記載されているように、プッシュボタンの素早い押下は、任意選択的に、タッチスクリーン112のロックを係合解除し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをアンロックするプロセスを開始する。プッシュボタン(例えば、206)のより長い押下は、任意選択的に、デバイス100への電力をオン又はオフにする。ボタンのうちの1つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン112は、仮想又はソフトボタン及び1つ以上のソフトキーボードを実施するために使用される。
タッチ感知ディスプレイ112は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ156は、タッチスクリーン112からの電気信号の受信及び/又はタッチスクリーン112への電気信号の送信を行う。タッチスクリーン112は、ユーザに対して視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ(総称して「グラフィック」)を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン112は、触覚及び/又は触知接触に基づいてユーザからの入力を受信するタッチ感知面、センサ、又は1組のセンサを有する。タッチスクリーン112及びディスプレイコントローラ156は(あらゆる関連モジュール及び/又はメモリ102内の命令セットと共に)、タッチスクリーン112上の接触(及び接触のあらゆる動き又は中断)を検出し、検出した接触を、タッチスクリーン112上に表示されるユーザインタフェースオブジェクトとの対話(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)に変換する。例示的な実施形態では、タッチスクリーン112とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン112は、任意選択的に、LCD(液晶ディスプレイ)技術、LPD(発光ポリマーディスプレイ)技術、又はLED(発光ダイオード)技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン112及びディスプレイコントローラ156は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン112との1つ以上の接触点を判定する他の近接センサアレイ又は他の要素を含む、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる動き又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのApple Inc.からのiPhone(登録商標)及びiPod Touch(登録商標)に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン112のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体として参照により本明細書に組み込まれている、米国特許第6,323,846号(Westermanら)、第6,570,557号(Westermanら)、及び/若しくは第6,677,932号(Westerman)、並びに/又は米国特許公報第2002/0015024A1号という米国特許に記載されているマルチタッチ感知タッチパッドに類似している。しかしながら、タッチスクリーン112はデバイス100からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
タッチスクリーン112のいくつかの実施形態におけるタッチ感知ディスプレイは、(1)2006年5月2日出願の米国特許出願第11/381,313号、「Multipoint Touch Surface Controller」、(2)2004年5月6日出願の米国特許出願第10/840,862号、「Multipoint Touchscreen」、(3)2004年7月30日出願の米国特許出願第10/903,964号、「Gestures For Touch Sensitive Input Devices」、(4)2005年1月31日出願の米国特許出願第11/048,264号、「Gestures For Touch Sensitive Input Devices」、(5)2005年1月18日出願の米国特許出願第11/038,590号、「Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices」、(6)2005年9月16日出願の米国特許出願第11/228,758号、「Virtual Input Device Placement On A Touch Screen User Interface」、(7)2005年9月16日出願の米国特許出願第11/228,700号、「Operation Of A Computer With A Touch Screen Interface」、(8)2005年9月16日出願の米国特許出願第11/228,737号、「Activating Virtual Keys Of A Touch-Screen Virtual Keyboard」、及び(9)2006年3月3日出願の米国特許出願第11/367,749号、「Multi-Functional Hand-Held Device」という出願に記載されている。これらの出願は全て、全体として参照により本明細書に組み込まれている。
タッチスクリーン112は、任意選択的に、100dpiを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンは、約160dpiのビデオ解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適した物体又は付属物を使用して、タッチスクリーン112に接触する。いくつかの実施形態では、ユーザインタフェースは、指ベースの接触及びジェスチャを主に扱うように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど精密でない可能性がある。いくつかの実施形態では、デバイスは、指に基づく粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ/カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス100は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド(図示せず)を含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、装置のタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン112又はタッチスクリーンによって形成されるタッチ感知面の拡張部とは別個のタッチ感知面である。
デバイス100は、また、様々なコンポーネントに電力を供給する電力システム162を含む。電力システム162は、任意選択的に、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC))、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ(例えば、発光ダイオード(LED))、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
また、デバイス100は、任意選択的に、1つ以上の光センサ164を含む。図1Aは、I/Oサブシステム106内の光センサコントローラ158に結合された光センサを示す。光センサ164は、任意選択的に、電荷結合デバイス(charge-coupled device、CCD)又は相補的金属酸化物半導体(complementary metal-oxide semiconductor、CMOS)フォトトランジスタを含む。光センサ164は、1つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光センサ164は、撮像モジュール143(カメラモジュールとも呼ばれる)と連動して、任意選択的に、静止画像又はビデオをキャプチャする。いくつかの実施形態では、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ112とは反対に、デバイス100の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像及び/又はビデオ画像の取得のためのビューファインダとして使用することが有効である。いくつかの実施形態では、光センサは、デバイスの前面には位置し、したがってユーザの画像が、任意選択的に、テレビ会議のために入手され、ユーザは、他のテレビ会議参加者をタッチスクリーンディスプレイ上で見る。いくつかの実施形態では、光センサ164の位置は、ユーザによって(例えば、デバイスハウジング内でレンズ及びセンサを回転させることによって)変化させることができ、したがって単一の光センサ164が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像及び/又はビデオ画像の取得にも使用される。
また、デバイス100は、任意選択的に、1つ以上の接触強度センサ165を含む。図1Aは、I/Oサブシステム106内の強度センサコントローラ159に結合された接触強度センサを示す。接触強度センサ165は、任意選択的に、1つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(若しくは圧力)を測定するために使用されるセンサ)を含む。接触強度センサ165は、接触強度情報(例えば、圧力情報又は圧力情報に対するプロキシ)を環境から受信する。いくつかの実施形態では、少なくとも1つの接触強度センサは、タッチ感知面(例えばタッチ感知ディスプレイシステム112)と並置される、又はそれに近接している。いくつかの実施形態では、少なくとも1つの接触強度センサは、デバイス100の前面に位置するタッチスクリーンディスプレイ112とは反対に、デバイス100の裏面に位置する。
また、デバイス100は、任意選択的に、1つ以上の近接センサ166を含む。図1Aは、周辺機器インタフェース118に結合された近接センサ166を示す。代わりに、近接センサ166は、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。近接センサ166は、任意選択的に、全体として参照により本明細書に組み込まれている、米国特許出願第11/241,839号、「Proximity Detector In Handheld Device」、第11/240,788号、「Proximity Detector In Handheld Device」第11/620,702号、「Using Ambient Light Sensor To Augment Proximity Sensor Output」、第11/586,862号、「Automated Response To And Sensing Of User Activity In Portable Devices」、及び同第11/638,251号、「Methods And Systems For Automatic Configuration Of Peripherals」で説明されるように機能するものであり、これらの出願は、全体が参照により本明細書に組み込まれる。いくつかの実施形態では、近接センサは、多機能デバイスがユーザの耳付近に配置されたとき(例えば、ユーザが電話をかけているとき)、タッチスクリーン112をオフにして無効化する。
また、デバイス100は、任意選択的に、1つ以上の触知出力生成器167を含む。図1Aは、I/Oサブシステム106内の触覚フィードバックコントローラ161に結合された触知出力生成器を示す。触知出力生成器167は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの1つ以上の電気音響デバイス、及び/又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素(例えば、デバイス上で電気信号を触知出力に変換する構成要素)などのエネルギを直線の動きに変換する電気機械デバイスを含む。接触強度センサ165は、触覚フィードバックモジュール133から触知フィードバック生成命令を受信し、デバイス100のユーザが感知することが可能な触知出力をデバイス100上に生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器は、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)に配置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向(例えば、デバイス100の表面の内/外)に、又は水平方向(例えば、デバイス100の表面と同じ平面内の前後)に動かすことによって、触知出力を生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器センサは、デバイス100の前面に位置するタッチスクリーンディスプレイ112とは反対に、デバイス100の裏面に位置する。
また、デバイス100は、任意選択的に、1つ以上の加速度計168を含む。図1Aは、周辺機器インタフェース118に結合された加速度計168を示す。代わりに、加速度計168は、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。加速度計168は、任意選択的に、どちらも全体として参照により本明細書に組み込まれている、米国特許公開第20050190059号、「Acceleration-based Theft Detection System for Portable Electronic Devices」、及び米国特許公開第20060017692号、「Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer」に記載されているように機能する。いくつかの実施形態では、情報は、1つ以上の加速度計から受信したデータの分析に基づいて、ポートレートビュー又はランドスケープビューでタッチスクリーンディスプレイ上に表示される。デバイス100は任意選択で、加速度計(単数又は複数)168に加えて、磁気計(図示せず)並びにデバイス100の位置及び向き(例えば、縦向き又は横向き)に関する情報を取得するためのGPS(又はGLONASS又は他のグローバルナビゲーションシステム)受信機(図示せず)を含む。
デバイス100はまた、任意選択的に、1つ以上の深度カメラセンサ175を含む。図1Aは、I/Oサブシステム106内の深度カメラコントローラ169に結合された深度カメラセンサを示す。深度カメラセンサ175は、センサを通って投影される環境からのデータを受信する。深度カメラセンサ175は、撮像モジュール143(カメラモジュールとも呼ばれる)と連動して、任意選択的に、撮像モジュール143によってキャプチャされた画像の異なる部分の深度マップを判定するために使用される。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ている間に、深度情報を有するユーザの画像が、任意選択的に、テレビ会議のために取得されるように、及び、深度マップデータを有する自撮り画像をキャプチャするように、デバイス100の前面に深度カメラセンサが配置されている。いくつかの実施形態では、深度カメラセンサ175の位置は、ユーザによって(例えば、デバイスハウジング内でレンズ及びセンサを回転させることによって)変化させることができ、したがって深度カメラセンサ175が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像及び/又はビデオ画像の取得にも使用される。
いくつかの実施形態では、メモリ102内に記憶されているソフトウェア構成要素は、オペレーティングシステム126、通信モジュール(又は命令セット)128、接触/動きモジュール(又は命令セット)130、グラフィックモジュール(又は命令セット)132、テキスト入力モジュール(又は命令セット)134、全地球測位システム(Global Positioning System、GPS)モジュール(又は命令セット)135、及びアプリケーション(又は命令セット)136を含む。更に、いくつかの実施形態では、メモリ102(図1A)又は370(図3)は、図1A及び図3に示すように、デバイス/グローバル内部状態157を記憶する。デバイス/グローバル内部状態157は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ112の様々な領域を占有しているかを示すディスプレイ状態、デバイスの様々なセンサ及び入力コントロールデバイス116から入手した情報を含むセンサ状態、並びにデバイスの場所及び/又は姿勢に関する場所情報のうちの1つ以上を含む。
オペレーティングシステム126(例えば、Darwin(登録商標)、RTXC(登録商標)、LINUX(登録商標)、UNIX(登録商標)、OS X(登録商標)、iOS(登録商標)、WINDOWS(登録商標)、又はVxWorks(登録商標)などの組み込み型オペレーティングシステム)は、通常のシステムタスク(例えば、メモリ管理、記憶デバイスの制御、電力管理など)を制御及び管理する様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェアとソフトウェア構成要素との間の通信を容易にする。
通信モジュール128は、1つ以上の外部ポート124を介して他のデバイスとの通信を容易にし、RF回路108及び/又は外部ポート124が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート124(例えばユニバーサルシリアルバス(Universal Serial Bus、USB)、FIREWIRE(登録商標)など)は、直接的に、又はネットワーク(例えばインターネット、無線LANなど)を介して間接的に、他のデバイスに連結するように適合されている。いくつかの実施形態では、外部ポートは、iPod(登録商標)(Apple Inc.の商標)デバイス上で使用される30ピンコネクタと同じ若しくは類似であり、かつ/又はそれに適合しているマルチピン(例えば、30ピン)コネクタである。
接触/動きモジュール130は、任意選択的に、タッチスクリーン112(ディスプレイコントローラ156と連動して)及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)との接触を検出する。接触/動きモジュール130は、接触が生じたかを判定すること(例えば、指を下ろすイベントを検出すること)、接触の強度(例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物)を判定すること、接触の移動が存在するかを判定し、タッチ感知面を横断する移動を追跡すること(例えば、指をドラッグする1つ以上のイベントを検出すること)、及び接触が停止したかを判定すること(例えば、指を上げるイベント又は接触の中断を検出すること)などの、接触の検出に関する様々な動作を実行する、様々なソフトウェア構成要素を含む。接触/動きモジュール130は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを含む。これらの動作は、任意選択的に、単一の接触(例えば、1本の指の接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。いくつかの実施形態では、接触/動きモジュール130及びディスプレイコントローラ156は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触/動きモジュール130は、1つ以上の強度閾値のセットを使用して、ユーザによって操作が実行されたかどうかを判定する(例えば、ユーザがアイコン上で「クリック」したかどうかを判定する)。いくつかの実施形態では、強度閾値の少なくとも1つのサブセットが、ソフトウェアパラメータに従って判定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されるのではなく、デバイス100の物理ハードウェアを変化させることなく調整することができる)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変化させることなく、広範囲の所定の閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザは、1組の強度閾値の1つ以上を調整するソフトウェア設定が提供される(例えば、システムレベルのクリック「強度」パラメータによって、個々の強度閾値を調整すること、及び/又は複数の強度閾値を一度に調整することによる)。
接触/動きモジュール130は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する(例えば検出される接触の動き、タイミング、及び/又は強度が異なる)。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置(又は実質上同じ位置)(例えば、アイコンの位置)で指アップ(リフトオフ)イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて1つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ(リフトオフ)イベントを検出することを含む。
グラフィックモジュール132は、表示されるグラフィックの視覚的な影響(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚的特性)を変化させる構成要素を含めて、タッチスクリーン112又は他のディスプレイ上にグラフィックをレンダリング及び表示する様々な知られているソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、文字、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、ビデオ、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール132は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール132は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する1つ以上のコードを受信し、次にディスプレイコントローラ156に出力するスクリーンの画像データを生成する。
触覚フィードバックモジュール133は、デバイス100とのユーザ対話に応じて、デバイス100上の1つ以上の場所で触知出力を生成するために、触知出力生成器(単数又は複数)167によって使用される命令を生成するための、様々なソフトウェア構成要素を含む。
テキスト入力モジュール134は、任意選択で、グラフィックモジュール132の構成要素であり、様々なアプリケーション(例えば、連絡先137、電子メール140、IM141、ブラウザ147、及びテキスト入力を必要とする任意の他のアプリケーション)でテキストを入力するためのソフトキーボードを提供する。
GPSモジュール135は、デバイスの位置を判定し、この情報を様々なアプリケーションで使用するために(例えば、位置に基づくダイヤル発呼で使用するために電話138へ、画像/ビデオのメタデータとしてカメラ143へ、並びに、天気ウィジェット、地域のイエローページウィジェット、及び地図/ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ)提供する。
アプリケーション136は、任意選択的に、以下のモジュール(又は命令セット)又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール137(アドレス帳又は連絡先リストと呼ばれることもある)、
●電話モジュール138、
●テレビ会議モジュール139、
●電子メールクライアントモジュール140、
●インスタントメッセージング(Instant messaging、IM)モジュール141、
●トレーニングサポートモジュール142、
●静止画像及び/又はビデオ画像用のカメラモジュール143、
●画像管理モジュール144、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール147、
●カレンダモジュール148、
●任意選択的に気象ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、アラーム時計ウィジェット149-4、辞書ウィジェット149-5、及びユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット149-6のうちの1つ以上を含むウィジェットモジュール149、
●ユーザ作成ウィジェット149-6を作るウィジェットクリエータモジュール150、
●検索モジュール151、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを一体化したビデオ及び音楽プレーヤモジュール152、
●メモモジュール153、
●地図モジュール154、並びに/又は、
●オンラインビデオモジュール155。
任意選択的にメモリ102に記憶される他のアプリケーション136の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA(登録商標)対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、連絡先モジュール137は、任意選択的に、アドレス帳に名前(単数又は複数)を追加すること、アドレス帳から名前(単数又は複数)を削除すること、電話番号(単数又は複数)、電子メールアドレス(単数又は複数)、住所(単数又は複数)、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話138、テレビ会議モジュール139、電子メール140、又はIM141による通信を開始及び/又は促進することなどを含めて、アドレス帳又は連絡先リスト(例えば、メモリ102又はメモリ370内の連絡先モジュール137のアプリケーション内部状態192内に記憶される)を管理するために使用される。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、電話モジュール138は、任意選択的に、電話番号に対応する文字シーケンスの入力、連絡先モジュール137内の1つ以上の電話番号へのアクセス、入力された電話番号の修正、それぞれの電話番号のダイヤル、会話の実施、会話が終了したときの通話停止又はハングアップのために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先モジュール137、及び電話モジュール138と連動して、テレビ会議モジュール139は、ユーザ命令に従ってユーザと1人以上の他の参加者との間のテレビ会議を開始、実行、及び終了するための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、電子メールクライアントモジュール140は、ユーザ命令に応じて電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。画像管理モジュール144と連動して、電子メールクライアントモジュール140は、カメラモジュール143で撮影された静止画像又はビデオ画像を有する電子メールの作成及び送信を非常に容易にする。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、インスタントメッセージングモジュール141は、インスタントメッセージに対応する文字シーケンスの入力、以前に入力された文字の修正、それぞれのインスタントメッセージの送信(例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス(Short Message Service、SMS)若しくはマルチメディアメッセージサービス(Multimedia Message Service、MMS)プロトコル、又はインターネットベースのインスタントメッセージ向けのXMPP、SIMPLE、若しくはIMPSを使用する)、インスタントメッセージの受信、及び受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信及び/又は受信されるインスタントメッセージは、任意選択的に、MMS及び/又は拡張メッセージングサービス(Enhanced Messaging Service、EMS)でサポートされるグラフィック、写真、オーディオファイル、ビデオファイル、及び/又は他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ(例えば、SMS又はMMSを使用して送信されるメッセージ)と、インターネットベースのメッセージ(例えば、XMPP、SIMPLE、又はIMPSを使用して送信されるメッセージ)との両方を指す。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、地図モジュール154、及び音楽プレーヤモジュールと連動して、トレーニングサポートモジュール142は、トレーニング(例えば、時間、距離、及び/又はカロリー燃焼目標を有する)の作成、トレーニングセンサ(スポーツデバイス)との通信、トレーニングセンサデータの受信、トレーニングをモニタするために使用されるセンサの較正、トレーニングのための音楽の選択及び再生、並びに、トレーニングデータの表示、記憶、及び送信のための実行可能な命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触/動きモジュール130、グラフィックモジュール132、及び画像管理モジュール144と連動して、カメラモジュール143は、静止画像若しくはビデオ(ビデオストリームを含む)のキャプチャ及びメモリ102内への記憶、静止画像若しくはビデオの特性の修正、又はメモリ102からの静止画像若しくはビデオの削除のための実行可能な命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びカメラモジュール143と連動して、画像管理モジュール144は、静止画像及び/又はビデオ画像の配置、修正(例えば、編集)、あるいはその他の操作、ラベル付け、削除、提示(例えば、デジタルスライドショー又はアルバムにおける)、及び記憶のための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、ブラウザモジュール147は、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含めて、ユーザ命令に従ってインターネットをブラウジングするための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と連動して、カレンダモジュール148は、ユーザ命令に従ってカレンダ及びカレンダに関連付けられたデータ(例えば、カレンダ入力、やることリストなど)を作成、表示、修正、及び記憶するための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と連動して、ウィジェットモジュール149は、任意選択的にユーザによってダウンロード及び使用されるミニアプリケーション(例えば、気象ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、アラーム時計ウィジェット149-4、及び辞書ウィジェット149-5)、又はユーザによって作成されるミニアプリケーション(例えば、ユーザ作成ウィジェット149-6)である。いくつかの実施形態では、ウィジェットは、HTML(Hypertext Markup Language;ハイパーテキストマークアップ言語)ファイル、CSS(Cascading Style Sheets;カスケーディングスタイルシート)ファイル、及びJavaScript(登録商標)ファイルを含む。いくつかの実施形態では、ウィジェットは、XML(Extensible Markup Language:拡張可能マークアップ言語)ファイル及びJavaScriptファイル(例えば、Yahoo!ウィジェット)を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と連動して、ウィジェットクリエータモジュール150は、任意選択的に、ウィジェットを作成する(例えば、ウェブページのユーザ指定部分をウィジェットにする)ために、ユーザによって使用される。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、検索モジュール151は、ユーザ命令に従って1つ以上の検索基準(例えば、1つ以上のユーザ指定検索語)に一致するメモリ102内の文字、音楽、サウンド、画像、ビデオ、及び/又は他のファイルを検索するための実行可能な命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、及びブラウザモジュール147と連動して、ビデオ及び音楽プレーヤモジュール152は、ユーザがMP3若しくはAACファイルなどの1つ以上のファイル形式で記憶されている記録された音楽及び他のサウンドファイルをダウンロード及び再生することを可能にする実行可能な命令、並びにビデオを表示、提示、又は他の方法で(例えば、タッチスクリーン112上又は外部ポート124を介して接続された外部ディスプレイ上に)再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス100は、任意選択的に、iPod(Apple社の商標)などのMP3プレーヤの機能を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、メモモジュール153は、ユーザ命令に従ってメモ、やることリストなどを作成及び管理するための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、及びブラウザモジュール147と連動して、地図モジュール154は、任意選択的に、ユーザ命令に従って、地図及び地図に関連付けられたデータ(例えば、運転方向、特定の場所又はその付近の店舗及び他の対象地点に関するデータ、並びに他の場所ベースのデータ)を受信、表示、修正、及び記憶するために使用される。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と連動して、オンラインビデオモジュール155は、ユーザが特定のオンラインビデオへのアクセス、特定のオンラインビデオのブラウジング、受信(例えば、ストリーミング及び/又はダウンロードによる)、再生(例えば、タッチスクリーン上又は外部ポート124を介して接続された外部ディスプレイ上)、特定のオンラインビデオへのリンクを有する電子メールの送信、並びにH.264などの1つ以上のファイル形式のオンラインビデオの他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール140ではなく、インスタントメッセージングモジュール141が使用される。オンラインビデオアプリケーションについての追加の説明は、その内容が全体として参照により本明細書に組み込まれている、2007年6月20日出願の米国仮特許出願第60/936,562号、「Portable Multifunction Device,Method,and Graphical User Interface for Playing Online Videos」、及び2007年12月31日出願の米国特許出願第11/968,067号、「Portable Multifunction Device,Method,and Graphical User Interface for Playing Online Videos」において見ることができる。
上記で特定したモジュール及びアプリケーションはそれぞれ、前述した1つ以上の機能及び本出願に記載する方法(例えば、本明細書に記載するコンピュータにより実施される方法及び他の情報処理方法)を実行する1組の実行可能な命令に対応する。これらのモジュール(例えば、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされ、又は他の形で再構成される。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール(例えば、図1Aのビデオ及び音楽プレーヤモジュール152)にされる。いくつかの実施形態では、メモリ102は、任意選択的に、上記で特定したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ102は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス100は、そのデバイスにおける所定の機能のセットの動作がタッチスクリーン及び/又はタッチパッドのみを通じて実行されるデバイスである。デバイス100が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び/又はタッチパッドを使用することにより、任意選択的に、デバイス100上の物理的な入力コントロールデバイス(プッシュボタン、ダイヤルなど)の数が削減される。
タッチスクリーン及び/又はタッチパッドを通じてのみ実行される所定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス100上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス100をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図1Bは、いくつかの実施形態によるイベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ102(図1A)又は370(図3)は、イベントソータ170(例えば、オペレーティングシステム126内)と、それぞれのアプリケーション136-1(例えば、前述のアプリケーション137~151、155、380~390のうちのいずれか)とを含む。
イベントソータ170は、イベント情報を受信し、イベント情報が配信されるアプリケーション136-1及びアプリケーション136-1のアプリケーションビュー191を判定する。イベントソータ170は、イベントモニタ171及びイベントディスパッチャモジュール174を含む。いくつかの実施形態では、アプリケーション136-1は、アプリケーションがアクティブ又は実行中であるときにタッチ感知ディスプレイ112上に表示される現在のアプリケーションビューを示すアプリケーション内部状態192を含む。いくつかの実施形態では、デバイス/グローバル内部状態157は、どのアプリケーション(単数又は複数)が現在アクティブであるかを判定するためにイベントソータ170によって使用され、アプリケーション内部状態192は、イベント情報が配信されるアプリケーションビュー191を決定するためにイベントソータ170によって使用される。
いくつかの実施形態では、アプリケーション内部状態192は、アプリケーション136-1が実行を再開するときに使用される再開情報、アプリケーション136-1によって表示されている又は表示される準備ができている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション136-1の以前の状態又はビューに戻ることを可能にする状態待ち行列、及びユーザが行った以前のアクションのリドゥ/アンドゥ待ち行列のうちの1つ以上などの追加の情報を含む。
イベントモニタ171は、周辺機器インタフェース118からイベント情報を受信する。イベント情報は、サブイベント(例えば、マルチタッチジェスチャの一部としてのタッチ感知ディスプレイ112上のユーザタッチ)に関する情報を含む。周辺機器インタフェース118は、I/Oサブシステム106、又は近接センサ166、加速度計(単数又は複数)168、及び/若しくは(オーディオ回路110を介した)マイクロフォン113などのセンサから受信する情報を伝送する。周辺機器インタフェース118がI/Oサブシステム106から受信する情報は、タッチ感知ディスプレイ112又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ171は、所定の間隔で周辺機器インタフェース118に要求を送信する。それに応じて、周辺機器インタフェース118は、イベント情報を伝送する。他の実施形態では、周辺機器インタフェース118は、重要なイベント(例えば、所定のノイズ閾値を上回る及び/又は所定の持続時間を超える入力の受信)があるときのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ170はまた、ヒットビュー判定モジュール172及び/又はアクティブイベント認識部判定モジュール173を含む。
ヒットビュー判定モジュール172は、タッチ感知ディスプレイ112が2つ以上のビューを表示するとき、サブイベントが1つ以上のビュー内のどこで行われたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される(それぞれのアプリケーションの)アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール172は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するときには、ヒットビュー判定モジュール172は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント(例えば、イベント又は潜在的イベントを形成するサブイベントシーケンス内の第1のサブイベント)が行われる最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール172によって特定された後、このヒットビューは、典型的には、ヒットビューとして特定されたのと同じタッチ又は入力ソースに関係する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール173は、ビュー階層内のどのビュー(単数又は複数)がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール173は、ヒットビューのみがサブイベントの特定のシーケンスを受け付けるべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール173は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが1つの特定のビューに関連するエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール174は、イベント情報をイベント認識部(例えばイベント認識部180)にディスパッチする。アクティブイベント認識部判定モジュール173を含む実施形態において、イベントディスパッチャモジュール174は、アクティブイベント認識部判定モジュール173により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール174は、それぞれのイベント受信部182によって取得されるイベント情報をイベント待ち行列に記憶する。
いくつかの実施形態では、オペレーティングシステム126は、イベントソータ170を含む。代替として、アプリケーション136-1がイベントソータ170を含む。更に他の実施形態では、イベントソータ170は、独立型のモジュール、又は接触/動きモジュール130などの、メモリ102に記憶された別のモジュールの一部である。
いくつかの実施形態では、アプリケーション136-1は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令を含む、複数のイベント処理部190及び1つ以上のアプリケーションビュー191を含む。アプリケーション136-1の各アプリケーションビュー191は、1つ以上のイベント認識部180を含む。典型的には、それぞれのアプリケーションビュー191は、複数のイベント認識部180を含む。他の実施形態では、イベント認識部180のうちの1つ以上は、ユーザインタフェースキット(図示せず)又はアプリケーション136-1が方法及び他の特性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、対応するイベント処理部190は、データ更新部176、オブジェクト更新部177、GUI更新部178及び/又はイベントソータ170から受信されたイベントデータ179、のうちの1つ以上を含む。イベント処理部190は、任意選択的に、データ更新部176、オブジェクト更新部177、又はGUI更新部178を利用し又は呼び出して、アプリケーション内部状態192を更新する。別法として、アプリケーションビュー191のうちの1つ以上が、1つ以上のそれぞれのイベント処理部190を含む。また、いくつかの実施形態では、データ更新部176、オブジェクト更新部177及びGUI更新部178のうちの1つ以上は、対応するアプリケーションビュー191に含まれる。
それぞれのイベント認識部180は、イベントソータ170からイベント情報(例えば、イベントデータ179)を受信し、このイベント情報からイベントを特定する。イベント認識部180は、イベント受信部182及びイベント比較部184を含む。いくつかの実施形態では、イベント認識部180はまた、メタデータ183及びイベント配信命令188(任意選択的にサブイベント配信命令を含む)の少なくともサブセットも含む。
イベント受信部182は、イベントソータ170からイベント情報を受信する。イベント情報は、サブイベントについての情報、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。いくつかの実施形態では、イベントは、1つの向きから別の向きへの(例えば、縦向きから横向きへ、又はその逆の)デバイスの回転を含み、イベント情報は、デバイスの現在の向き(デバイスの姿勢とも呼ぶ)についての対応する情報を含む。
イベント比較部184は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部184は、イベント定義186を含む。イベント定義186は、例えばイベント1(187-1)及びイベント2(187-2)などのイベント(例えば所定のサブイベントのシーケンス)の定義を含む。いくつかの実施形態では、イベント(187)内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの動き、タッチの取り消し、及び複数のタッチを含む。一例では、イベント1(187-1)についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第1のタッチ(タッチ開始)、所定の段階に対する第1のリフトオフ(タッチ終了)、所定の段階に対する表示オブジェクト上の第2のタッチ(タッチ開始)、及び所定の段階に対する第2のリフトオフ(タッチ終了)を含む。別の例では、イベント2(187-2)の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクトのタッチ(又は接触)、タッチ感知ディスプレイ112におけるタッチの動き、及びタッチのリフトオフ(タッチ終了)を含む。いくつかの実施形態では、イベントはまた、1つ以上の関連付けられたイベント処理部190に関する情報を含む。
いくつかの実施形態では、イベント定義187は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部184は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ112上に、3つのユーザインタフェースオブジェクトが表示されているアプリケーションビューでは、タッチ感知ディスプレイ112上でタッチが検出されると、イベント比較部184は、3つのユーザインタフェースオブジェクトのうちのいずれが、そのタッチ(サブイベント)と関連付けられているかを判定するために、ヒットテストを実行する。表示された各オブジェクトが、対応するイベント処理部190に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部190をアクティブ化すべきかを判定する。例えば、イベント比較部184は、ヒットテストをトリガするサブイベント及びオブジェクトと関連付けられたイベント処理部を選択する。
いくつかの実施形態では、それぞれのイベント(187)に対する定義はまた、サブイベントシーケンスがイベント認識部のイベントタイプに対応するか否かが判定される後までイベント情報の伝送を遅延する遅延アクションを含む。
それぞれのイベント認識部180が一連のサブイベントがイベント定義186のいずれのイベントとも一致しないと判断した場合には、それぞれのイベント認識部180は、イベント不可能、イベント失敗、又はイベント終了の状態になり、その後は、タッチによるジェスチャの後続のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、対応するイベント認識部180は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び/又はリストを有するメタデータ183を含む。いくつかの実施形態では、メタデータ183は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することができるようになっているかを示す構成可能なプロパティ、フラグ、及び/又はリストを含む。いくつかの実施形態では、メタデータ183は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び/又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部180は、イベントの1つ以上の特定のサブイベントが認識されるときに、イベントと関連付けられたイベント処理部190をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部180は、イベントと関連付けられたイベント情報をイベント処理部190に配信する。イベント処理部190をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する(及び、送信を延期する)こととは別個である。いくつかの実施形態では、イベント認識部180は、認識したイベントと関連付けられたフラグを投入し、そのフラグと関連付けられたイベント処理部190は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令188は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データ更新部176は、アプリケーション136-1で使用されるデータを作成及び更新する。例えば、データ更新部176は、連絡先モジュール137で使用される電話番号を更新する、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部177は、アプリケーション136-1で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部177は、新たなユーザインタフェースオブジェクトを作成するか、又はユーザインタフェースオブジェクトの位置を更新する。GUI更新部178は、GUIを更新する。例えば、GUI更新部178は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール132に送る。
いくつかの実施形態では、イベント処理部(単数又は複数)190は、データ更新部176、オブジェクト更新部177、及びGUI更新部178を含むか又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部176、オブジェクト更新部177、及びGUI更新部178は、それぞれのアプリケーション136-1又はアプリケーションビュー191の単一モジュールに含まれる。他の実施形態では、それらは、2つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザタッチのイベント処理に関する上記の論考は、入力デバイスを有する多機能デバイス100を動作させるためのユーザ入力の他の形態にも当てはまり、それらのユーザ入力は、必ずしも全てがタッチスクリーン上で開始されるとは限らないことが理解されよう。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の動き、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された目の動き、バイオメトリック入力、並びに/又はそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図2は、いくつかの実施形態によるタッチスクリーン112を有するポータブル多機能デバイス100を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース(user interface、UI)200内に1つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、1本以上の指202(図には正確な縮尺では描かれていない)又は1つ以上のスタイラス203(図には正確な縮尺では描かれていない)を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの1つ以上を選択することが可能となる。いくつかの実施形態では、1つ以上のグラフィックの選択は、ユーザが、その1つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、任意選択的に、1つ以上のタップ、1つ以上のスワイプ(左から右、右から左、上向き、及び/若しくは下向き)、並びに/又はデバイス100と接触した指のロール(右から左、左から右、上向き、及び/若しくは下向き)を含む。いくつかの実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス100はまた、任意選択的に、「ホーム」ボタン又はメニューボタン204などの1つ以上の物理ボタンを含む。前述したように、メニューボタン204は、任意選択的に、任意選択的にデバイス100上で実行される1組のアプリケーション内の任意のアプリケーション136へナビゲートするために使用される。別法として、いくつかの実施形態では、メニューボタンは、タッチスクリーン112上に表示されるGUI内のソフトキーとして実施される。
いくつかの実施形態では、デバイス100は、タッチスクリーン112、メニューボタン204、デバイスの電源をオン/オフにしてデバイスをロックするプッシュボタン206、音量調整ボタン208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212、及びドッキング/充電用外部ポート124を含む。プッシュボタン206は、任意選択的に、ボタンを押し下げて、所定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン/オフするため、ボタンを押し下げて、所定の期間が経過する前にボタンを解放することによって、デバイスをロックするため、及び/又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替的実施形態では、デバイス100はまた、マイクロフォン113を介して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力も受け入れる。デバイス100はまた、任意選択的に、タッチスクリーン112上の接触の強度を検出する1つ以上の接触強度センサ165、及び/又はデバイス100のユーザに対する触知出力を生成する1つ以上の触知出力生成器167を含む。
図3は、いくつかの実施形態によるディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス300は、ポータブル型である必要はない。いくつかの実施形態では、デバイス300は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育的デバイス(子供の学習玩具など)、ゲームシステム、又は制御デバイス(例えば、家庭用又は業務用コントローラ)である。デバイス300は、典型的には、1つ以上の処理ユニット(CPU)310、1つ以上のネットワーク又は他の通信インタフェース360、メモリ370、及びこれらの構成要素を相互接続する1つ以上の通信バス320を含む。通信バス320は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路(チップセットと呼ばれることもある)を含む。デバイス300は、ディスプレイ340を備える入出力(I/O)インタフェース330を含み、ディスプレイ340は、典型的には、タッチスクリーンディスプレイである。I/Oインタフェース330はまた、任意選択的に、キーボード及び/又はマウス(若しくは他のポインティングデバイス)350と、タッチパッド355と、デバイス300上に触知出力を生成する触知出力生成器357(例えば、図1Aを参照して前述した触知出力生成器167に類似している)と、センサ359(例えば、図1Aを参照して前述した接触強度センサ165に類似している光、加速度、近接、タッチ感知、及び/又は接触強度センサ)とを含む。メモリ370は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ370は、CPU310からリモートに位置する1つ以上の記憶デバイスを任意選択的に含む。いくつかの実施形態では、メモリ370は、ポータブル多機能デバイス100(図1A)のメモリ102内に記憶されているプログラム、モジュール、及びデータ構造に類似したプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ370は任意選択で、ポータブル多機能デバイス100のメモリ102に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス300のメモリ370は、任意選択的に、描画モジュール380、プレゼンテーションモジュール382、ワードプロセッシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388、及び/又はスプレッドシートモジュール390を記憶するのに対して、ポータブル多機能デバイス100(図1A)のメモリ102は、任意選択的に、これらのモジュールを記憶しない。
図3の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの1つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、前述した機能を実行する1組の命令に対応する。上記で特定したモジュール又はプログラム(例えば、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットは、任意選択的に、組み合わされ、又は他の形で再構成される。いくつかの実施形態では、メモリ370は、任意選択的に、上記で特定したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ370は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
次に、任意選択的に例えばポータブル多機能デバイス100上で実施されるユーザインタフェースの実施形態に注意を向ける。
図4Aは、いくつかの実施形態によるポータブル多機能デバイス100上のアプリケーションのメニューの例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス300上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース400は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びWi-Fi信号などの無線通信(単数又は複数)のための信号強度インジケータ(単数又は複数)402、
●時刻404、
●Bluetoothインジケータ405、
●バッテリ状態インジケータ406、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ408、
○不在着信又はボイスメールメッセージの数のインジケータ414を任意選択的に含む、「電話」とラベル付けされた、電話モジュール138のアイコン416、
○未読電子メールの数のインジケータ410を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール140のアイコン418、
○「ブラウザ」とラベル付けされた、ブラウザモジュール147のアイコン420、及び
○「iPod」とラベル付けされた、iPod(Apple Inc.の商標)モジュール152とも称されるビデオ及び音楽プレーヤモジュール152のアイコン422、及び
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、IMモジュール141のアイコン424、
○「カレンダ」とラベル付けされた、カレンダモジュール148のアイコン426、
○「写真」とラベル付けされた、画像管理モジュール144のアイコン428、
○「カメラ」とラベル付けされた、カメラモジュール143のアイコン430、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール155のアイコン432、
○「株価」とラベル付けされた、株式ウィジェット149-2のアイコン434、
○「地図」のラベル付けされた、地図モジュール154のためのアイコン436、
○「天気」とラベル付けされた、気象ウィジェット149-1のアイコン438、
○「時計」とラベル付けされた、アラーム時計ウィジェット149-4のアイコン440、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール142のアイコン442、
○「メモ」とラベル付けされた、メモモジュール153のアイコン444、及び
○デバイス100及びその様々なアプリケーション136に対する設定へのアクセスを提供する「設定」のラベル付きの設定アプリケーション又はモジュールのためのアイコン446。
図4Aに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール152のためのアイコン422は、「音楽」又は「音楽プレーヤ」と表示される、他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図4Bは、ディスプレイ450(例えば、タッチスクリーンディスプレイ112)とは別個のタッチ感知面451(例えば、図3のタブレット又はタッチパッド355)を有するデバイス(例えば、図3のデバイス300)上の例示的なユーザインタフェースを示す。デバイス300はまた、任意選択的に、タッチ感知面451上の接触の強度を検出する1つ以上の接触強度センサ(例えば、センサ359のうちの1つ以上)、及び/又はデバイス300のユーザに対する触知出力を生成する1つ以上の触知出力生成器357を含む。
以下の例のうちのいくつかは、タッチスクリーンディスプレイ112(タッチ感知面及びディスプレイが組み合わされている)上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図4Bに示すディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面(例えば、図4Bの451)は、ディスプレイ(例えば、450)上の1次軸(例えば、図4Bの453)に対応する1次軸(例えば、図4Bの452)を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの場所に対応する場所(例えば、図4Bでは、460は468に対応し、462は470に対応する)で、タッチ感知面451との接触(例えば、図4Bの460及び462)を検出する。このようにして、タッチ感知面(例えば、図4Bの451)上でデバイスによって検出されるユーザ入力(例えば、接触460及び462、並びにこれらの動き)は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ(例えば、図4Bの450)上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の例は、主に指入力(例えば、指接触、指タップジェスチャ、指スワイプジェスチャ)を参照して与えられるが、いくつかの実施形態では、指入力のうちの1つ以上は、別の入力デバイスからの入力(例えば、マウスベースの入力又はスタイラス入力)に置き換えられることを理解されたい。例えば、スワイプジェスチャは、(例えば、接触の代わりの)マウスクリックに続けた、(例えば、接触の移動の代わりの)スワイプの経路に沿ったカーソルの移動によって、任意選択的に置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間はマウスクリックと置き換えられる(例えば、接触を検出して、それに続いて接触の検出を停止する代わりに)。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
図5Aは、例示的なパーソナル電子デバイス500を示す。デバイス500は、本体502を含む。いくつかの実施形態では、デバイス500は、デバイス100及び300(例えば、図1A~4B)に関して説明する特徴のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス500は、タッチ感知ディスプレイ画面504、以下タッチスクリーン504を有する。タッチスクリーン504に対する別法又は追加として、デバイス500は、ディスプレイ及びタッチ感知面を有する。デバイス100及び300と同様に、いくつかの実施形態では、タッチスクリーン504(又はタッチ感知面)は、任意選択的に、加えられている接触(例えば、タッチ)の強度を検出する1つ以上の強度センサを含む。タッチスクリーン504(又はタッチ感知面)の1つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス500のユーザインタフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチが、デバイス500上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出及び処理する例示的な技法は、例えば、それぞれ全体として参照により本明細書に組み込まれている、国際特許第WO/2013/169849号として公開された、2013年5月8日出願の国際特許出願第PCT/US2013/040061号、「Device,Method,and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application」、及び国際特許第WO/2014/105276号として公開された、2013年11月11日出願の国際特許出願第PCT/US2013/069483号、「Device,Method,and Graphical User Interface for Transitioning Between Touch Input to Display Output Relationships」という関連出願に見られる。
いくつかの実施形態では、デバイス500は、1つ以上の入力機構506及び508を有する。入力機構506及び508は、含まれる場合、物理的機構とすることができる。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス500は、1つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、アイウェア、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計のバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス500を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス500を着用することを可能にする。
図5Bは、例示的なパーソナル電子デバイス500を示す。いくつかの実施形態では、デバイス500は、図1A、図1B、及び図3に関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス500は、I/Oセクション514を1つ以上のコンピュータプロセッサ516及びメモリ518に動作可能に結合するバス512を有する。I/Oセクション514は、ディスプレイ504に接続することができ、ディスプレイ504は、タッチ感知構成要素522と、任意選択的に強度センサ524(例えば、接触強度センサ)とを有することができる。加えて、I/Oセクション514は、Wi-Fi、Bluetooth、近距離通信(NFC)、セルラー、及び/又は他の無線通信技法を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット530に接続することができる。デバイス500は、入力機構506及び/又は508を含むことができる。入力機構506は、任意選択的に、例えば回転可能入力デバイス又は押下可能及び回転可能入力デバイスである。いくつかの例では、入力機構508は、任意選択的にボタンである。
いくつかの例では、入力機構508は、任意選択的にマイクロフォンである。パーソナル電子デバイス500は、任意選択的に、GPSセンサ532、加速度計534、方向センサ540(例えば、コンパス)、ジャイロスコープ536、動きセンサ538、及び/又はこれらの組み合わせなどの様々なセンサを含み、これらのセンサは全て、I/Oセクション514に動作可能に接続することができる。
パーソナル電子デバイス500のメモリ518は、コンピュータ実行可能命令を記憶するための1つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、1つ以上のコンピュータプロセッサ516によって実行されると、例えば、コンピュータプロセッサに、プロセス700、900、1100、1300、1500、及びプロセス1700(図7、図9、図11、図13、図15、及び図17)を含めた、以下に説明する技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用するための、又は命令実行システム、装置、又はデバイスに接続されているコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体とすることができる。いくつかの例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それだけに限定されるものではないが、磁気、光学、及び/又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、CD、DVD、又はBlu-ray技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス500は、図5Bの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
本明細書では、「アフォーダンス」という用語は、任意選択的にデバイス100、300、及び/又は500(図1A、図3、及び図5A~5B)のディスプレイスクリーン上に表示されるユーザ対話グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像(例えば、アイコン)、ボタン、及び文字(例えば、ハイパーリンク)はそれぞれ、意選択的に、アフォーダンスを構成する。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の場所マーカを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の上に位置する間に、タッチ感知面(例えば、図3のタッチパッド355又は図4Bのタッチ感知面451)上で入力(例えば、押下入力)が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を有効化するタッチスクリーンディスプレイ(例えば、図1Aのタッチ感知ディスプレイシステム112又は図4Aのタッチスクリーン112)を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の場所で入力(例えば、接触による押下入力)が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。いくつかの実装形態では、タッチスクリーンディスプレイ上の対応するカーソルの動き又は接触の動き(例えば、フォーカスを1つのボタンから別のボタンへ動かすためにタブキー又は矢印キーを使用することによる)なく、フォーカスがユーザインタフェースの1つの領域からユーザインタフェースの別の領域へ動かされ、これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタがとる特有の形態に関わらず、フォーカスセレクタは、概して、ユーザインタフェース要素(又はタッチスクリーンディスプレイ上の接触)であり、ユーザの意図する対話をユーザインタフェースによって通信するように、ユーザによって制御される(例えば、ユーザが対話することを意図しているユーザインタフェースの要素をデバイスに示すことによる)。例えば、タッチ感知面(例えば、タッチパッド又はタッチスクリーン)上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ(例えば、カーソル、接触、又は選択ボックス)の位置は、その対応のボタンを(そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく)アクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲で使用される、接触の「特性強度」という用語は、接触の1つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント(例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び/又は、接触の強度の減少を検出する前若しくは後の)に関連する既定の時間期間(例えば、0.05、0.1、0.2、0.5、1、2、5、10秒)の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均(mean)値、接触の強度の平均(average)値、接触の強度の上位10パーセンタイル値、接触の強度の最大の2分の1の値、接触の強度の最大の90パーセントの値などのうちの1つ以上に基づいている。いくつかの実施形態では、特性強度を特定する際に(例えば、特性強度が経時的な接触の強度の平均であるときに)、接触の持続期間が使用される。いくつかの実施形態では、特性強度は、ユーザによって操作が実行されたかどうかを判定するために、1つ以上の強度閾値のセットと比較される。例えば、1組の1つ以上の強度閾値は、任意選択的に、第1の強度閾値及び第2の強度閾値を含む。この例では、第1の閾値を超過しない特性強度を有する接触は、第1の動作をもたらし、第1の強度閾値を超過するが第2の強度閾値を超過しない特性強度を有する接触は、第2の動作をもたらし、第2の閾値を超過する特性強度を有する接触は、第3の動作をもたらす。いくつかの実施形態では、特性強度と1つ以上の閾値との間の比較は、第1の動作を実行するべきか、それとも第2の動作を実行するべきかを判定するために使用されるのではなく、1つ以上の動作を実行するべきか否か(例えば、それぞれの動作を実行するべきか、それともそれぞれの動作を実行するのを取り止めるべきか)を判定するために使用される。
図5Cは、複数の強度センサ524A~524Dによってタッチ感知ディスプレイ画面504上で複数の接触552A~552Eを検出することを示す。図5Cは、追加として、強度単位に対する強度センサ524A~524Dの現在の強度測定値を示す強度ダイアグラムを含む。この例では、強度センサ524A及び524Dの強度測定値はそれぞれ9強度単位であり、強度センサ524B及び524Cの強度測定値はそれぞれ7強度単位である。いくつかの実装形態では、集約強度は、複数の強度センサ524A~524Dの強度測定値の和であり、この例では32強度単位である。いくつかの実施形態では、各接触に、集約強度の一部分であるそれぞれの強度が割り当てられる。図5Dは、力の中心554からの距離に基づいて、集約強度を接触552A~552Eに割り当てることを示す。この例では、接触552A、552B、及び552Eのそれぞれに、集約強度の8強度単位の接触の強度が割り当てられ、接触552C及び552Dのそれぞれに、集約強度の4強度単位の接触の強度が割り当てられる。より一般的には、一部の実装例では、各接触jは、所定の数学関数Ij=A・(Dj/ΣDi)に従って、合計の強度Aの一部分である、それぞれの強度Ijが割り当てられ、ここで、Djは、力の中心からそれぞれの接触jまでの距離であり、ΣDiは、力の中心から全てのそれぞれ接触(例えば、i=1から最後まで)までの距離の和である。図5C~図5Dを参照して説明した動作は、デバイス100、300又は500と類似若しくは同一の電子デバイスを使用して行うことができる。いくつかの実施形態では、接触の特性強度は、接触の1つ以上の強度に基づいている。いくつかの実施形態では、強度センサは、単一の特性強度(例えば、単一の接触の単一の特性強度)を判定するために使用される。強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図5C~5Dに含まれていることに留意されたい。
いくつかの実施形態では、特性強度を特定する目的のために、ジェスチャの一部分が識別される。例えば、タッチ感知面は、任意選択的に、開始場所から遷移して終了場所に到達する連続するスワイプ接触を受信し、その時点で接触の強度が増大する。この例では、終了場所での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ(例えば、スワイプ接触のうち終了場所の部分のみ)に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び/又は指数平滑化アルゴリズムのうちの1つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を特定する目的のために、スワイプ接触の強度の小幅な上昇又は降下を排除する。
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押下の強度閾値、深い押下の強度閾値、及び/又は1つ以上の他の強度閾値などの1つ以上の強度閾値に対して特徴付けられる。いくつかの実施形態では、軽い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押下の強度閾値を下回る(例えば、それを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る)特性強度を有する接触が検出されたとき、デバイスは、軽い押下の強度閾値又は深い押下の強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の動きに従ってフォーカスセレクタを動かす。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の様々なセットの間で一貫している。
軽い押下の強度閾値を下回る強度から、軽い押下の強度閾値と深い押下の強度閾値との間の強度への、接触の特性強度の増大は、「軽い押下」の入力と呼ばれることがある。深い押下の強度閾値を下回る強度から、深い押下の強度閾値を上回る強度への、接触の特性強度の増大は、「深い押下」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押下の強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値は、ゼロより大きい。
本明細書に記載するいくつかの実施形態では、それぞれの押下入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触(若しくは複数の接触)によって実行されたそれぞれの押下入力を検出したことに応じて、1つ以上の動作が実行され、それぞれの押下入力は、押下入力強度閾値を上回る接触(又は複数の接触)の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押下入力強度閾値を上回るそれぞれの接触の強度の増大(例えば、それぞれの押下入力の「ダウンストローク」)を検出したことに応じて実行される。いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続く押下入力閾値を下回るそれぞれの接触の強度の減少(例えば、それぞれの押下入力の「アップストローク」)を検出したことに応じて実行される。
図5E~5Hは、図5Eの軽い押下の強度閾値(例えば、「ITL」)を下回る強度から、図5Hの深い押下の強度閾値(例えば、「ITD」)を上回る強度への、接触562の強度の増大に対応する押下入力を含むジェスチャの検出を示す。接触562によって実行されるジェスチャは、タッチ感知面560上で検出され、所定の領域574内に表示されたアプリケーションアイコン572A~572Dを含む表示ユーザインタフェース570上では、アプリ2に対応するアプリケーションアイコン572Bの上にカーソル576が表示される。いくつかの実施形態では、ジェスチャは、タッチ感知ディスプレイ504上に検出される。強度センサは、タッチ感知面560上の接触の強度を検出する。デバイスは、接触562の強度が深い押下の強度閾値(例えば、「ITD」)を上回ってピークに達したと判定する。接触562は、タッチ感知面560上で維持される。ジェスチャの検出に応じて、ジェスチャ中に深い押下の強度閾値(例えば、「ITD」)を上回る強度を有する接触562に従って、図5F~5Hに示すように、アプリ2に対して最近開いた文書の縮尺が低減された表現578A~578C(例えば、サムネイル)が表示される。いくつかの実施形態では、1つ以上の強度閾値と比較されるこの強度は、接触の特性強度である。接触562に対する強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図5E~5Hに含まれていることに留意されたい。
いくつかの実施形態では、表現578A~578Cの表示は、アニメーションを含む。例えば、図5Fに示すように、表現578Aが、アプリケーションアイコン572Bに近接して最初に表示される。アニメーションが進むにつれて、図5Gに示すように、表現578Aは上方へ動き、表現578Bが、アプリケーションアイコン572Bに近接して表示される。次いで、図5Hに示すように、表現578Aが上方へ動き、表現578Bが表現578Aに向かって上方へ動き、表現578Cが、アプリケーションアイコン572Bに近接して表示される。表現578A~578Cは、アイコン572Bの上にアレイを形成する。いくつかの実施形態では、アニメーションは、図5F~5Gに示すように、接触562の強度に従って進行し、接触562の強度が深い押下の強度閾値(例えば、「ITD」)に向かって増大するにつれて、表現578A~578Cが現れ、上方へ動く。いくつかの実施形態では、アニメーションの進行が基づいている強度は、接触の特性強度である。図5E~5Hを参照して説明する動作は、デバイス100、300、又は500に類似又は同一の電子デバイスを使用して実行することができる。
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義又は選択する(例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いX強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の75%、90%、若しくは何らかの妥当な割合である)。したがって、いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続くヒステリシス強度閾値を下回るそれぞれの接触の強度の減少(例えば、それぞれの押下入力の「アップストローク」)を検出したことに応じて実行される。同様に、いくつかの実施形態では、押下入力は、デバイスが、ヒステリシス強度閾値以下の強度から押下入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、それぞれの動作は、押下入力(例えば、状況に応じて、接触の強度の増大又は接触の強度の減少)を検出したことに応じて実行される。
説明を容易にするために、押下入力強度閾値に関連付けられた押下入力、又は押下入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押下入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押下入力強度閾値を上回る強度への接触の強度の増大、押下入力強度閾値を下回る接触の強度の減少、及び/又は押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。更に、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて実行されるように動作が記載される例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。
次に、ポータブル多機能デバイス100、デバイス300、又はデバイス500などの電子デバイス上で実施されるユーザインタフェース(「UI」)及び関連プロセスの実施形態に注意を向ける。
図6A~図6Nは、いくつかの実施形態に係る、カメラ効果を管理するための例示的なユーザインタフェースを示す。これらの図でのユーザインタフェースは、図7でのプロセスを含む後述のプロセスを示すために使用される。
図6Aは、(例えば、電子デバイス600の背面に)複数のカメラ602及び603を有する電子デバイス600を示す。一部の実施形態では、デバイス600は、デバイス100、300、及び/又は500の1つ以上の特徴を含む。いくつかの実施例では、電子デバイス(例えば、600)は、固定されているが異なる焦点距離を有する複数のカメラを有する。いくつかの実施例では、電子デバイス(例えば、600)は、固定されているが異なる焦点距離を有する複数のカメラを有する。いくつかの実施形態では、異なる固定焦点距離を有することに加えて、複数のカメラは、異なる固定視野及び異なる固定光学倍率特性を有する。いくつかの実施形態では、カメラ(例えば、602)は、複数の焦点距離を使用して画像データをキャプチャする。いくつかの実施形態では、1つのカメラ(例えば、602)は、複数の焦点距離をキャプチャし、したがって、固定されているが異なる焦点距離を有する複数のカメラと同じ結果を生成する。いくつかの例では、電子デバイスは、赤外線カメラ、サーモグラフィカメラ、又はこれらの組み合わせなどの深度カメラを含む。いくつかの実施例では、デバイスは、IRフラッド光、構造化光プロジェクタ、又はそれらの組み合わせなどの発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、可視光カメラ及び深度カメラ(例えば、IRカメラ)によって画像のキャプチャ中に対象を照らすために使用され、深度カメラ及び可視光カメラからの情報は、可視光カメラによってキャプチャされた対象の異なる部分の深度マップを判定するために使用される。いくつかの実施形態では、本明細書に記載する照明効果は、後ろ向きの画像に対する2つのカメラ(例えば、2つの可視光カメラ)からの不一致情報、及び前向きの画像(例えば、セルフィ画像)に対する可視光カメラからの画像データと組み合わせた深度カメラからの深度情報を使用して表示される。いくつかの実施形態では、2つの可視光カメラを使用して深度情報を判定するときと、深度カメラを使用して深度情報を判定するときに、同じユーザインタフェースが使用され、照明効果を生成するときに使用される情報を判定するために劇的に異なる技術を使用したときでも、一貫したエクスペリエンスをユーザに提供する。いくつかの実施形態では、照明効果のうちの1つが適用された状態でカメラユーザインタフェースを表示しながら、デバイスは、カメラ切り替えアフォーダンスの選択を検出し、前向きのカメラ(例えば、深度カメラ及び可視光カメラ)から後ろ向きのカメラ(例えば、互いから隔置された2つの可視光カメラ)へ切り替え(又は逆も同様である)、照明効果を適用するためのユーザインタフェース制御の表示を維持しながら、前向きのカメラの視野から後ろ向きのカメラの視野へ表示を置き換える(又は逆も同様である)。
図6Bに示すように、電子デバイス600は、タッチ感知性であるディスプレイ604(例えば、タッチスクリーン)を含み、ディスプレイは、カメラ602から受信した画像データを表示する。いくつかの実施形態において、ディスプレイはタッチ感知面とは異なる。
図6Bは更に、ディスプレイ604上に、カメラ602及び/又は603による画像をキャプチャするためのカメラアプリケーションユーザインタフェース606を表示する、電子デバイス600を示す。カメラアプリケーションユーザインタフェース606は、カメラ602の視野のライブプレビューを含む、デジタルビューファインダ608を更に含む。図6Bに示すとおり、カメラの視野は、前景の対象(例えば人)、及び背景の対象(例えば塀)を含む。
更に、図6Bにおいて、カメラアプリケーションユーザインタフェースは、デジタルビューファインダ608に重なった六角形として表される、フィルタ容器610を含む。いくつかの実施例では、フィルタ容器(例えば610)は円形、三角形、又は任意の他の幾何学的形状として表される。いくつかの実施例では、フィルタ容器(例えば610)は、ユーザに、電流フィルタに関するインジケーションを提供する画像、アイコン、又は文字表現である。図6Bの実施形態において、フィルタ容器(例えば610)は、様々なフィルタ表現が、透明なオブジェクトを通過して移動しているかのように見えることを可能にする、オブジェクトの透明表現(例えば、六角形)である。いくつかの実施形態では、フィルタ容器は、デジタルビューファインダ(例えば608)(例えば、ビューファインダに重なっていない)の上、下、左側、又は右側に表示されることができる。
図6Bのユーザインタフェースは、折りたたまれた(例えば、最小化)状態のフィルタピッカユーザインタフェース612を更に示す。折りたたまれたフィルタピッカユーザインタフェース612は、デジタルビューファインダ608の端に沿って配置される。いくつかの実施例では、折りたたまれたフィルタピッカユーザインタフェースは任意選択的に、デジタルビューファインダ(例えば608)の上、下、左側、又は右側に表示される。いくつかの実施例では、折りたたまれたフィルタピッカユーザインタフェース(例えば612)は、1つ以上の行及び列にアレンジされた、複数のフィルタ表現に対応する1つ以上のアイコン、又は、円形状の向きで配置されたアイコンを含む。いくつかの実施例では、折りたたまれたフィルタピッカユーザインタフェース(例えば612)は、デジタルビューファインダに対応する任意の位置で表示される。いくつかの実施例では、折りたたまれたフィルタピッカユーザインタフェース(例えば612)は輪郭(例えば境界)により描かれ、デジタルビューファインダ(例えば608)からフィルタピッカユーザインタフェースを区別する。いくつかの実施形態では、折りたたまれたフィルタピッカユーザインタフェース(例えば612)は透光(又は部分的に透光)であり、かつ、目に見える境界を有しない。結果として、いくつかの実施例では、折りたたまれたフィルタピッカユーザインタフェースの境界は、デジタルビューファインダ(例えば608)と混ざる(例えば、区別できない)。
図6Bに示すとおり、折りたたまれたフィルタピッカユーザインタフェース612は、ディスプレイ604上に表示される、1つ以上のフィルタ表現(例えば、614A、614B、614C、614D、614E)を含む。いくつかの実施例では、折りたたまれたフィルタピッカユーザインタフェース(例えば612)は任意選択的に、ディスプレイに表示されないフィルタ表現を含む(例えば、これらは画面の外にある)。折りたたまれたフィルタピッカユーザインタフェース(例えば612)内に表示されないフィルタ表現は、任意選択的に、入力(例えば、スワイプジェスチャ)を検出するデバイス上に表示され、これはフィルタ容器(例えば610)を通してのフィルタ表現のスクロールをもたらす。
図6Bに更に示すように、電子デバイス600は、フィルタ容器(例えば610)内にフィルタ表現(例えば614A)を表示し、デジタルビューファインダ608内に表示されるライブプレビューに適用されたフィルタを示す。いくつかの実施形態では、フィルタ表現614Aは、「自然光」照明(例えば、フィルタ)オプションに対応する。したがって、デジタルビューファインダ608内の対象(例えば人)は、画像にあらゆる追加の照明効果を適用することなく表示される。いくつかの実施例では、フィルタ表現(例えば、614A)は、「スタジオ光」照明効果フィルタ、「輪郭光」照明効果フィルタ、「ステージ光」照明効果フィルタ、又は「ステージ光MONO」照明効果フィルタに対応する。先行する照明効果フィルタのそれぞれは、(例えば、対象の顔の深度マップに基づいて、デジタルビューファインダ内における対象の顔での光の、異なる集合を輝かせる効果をシミュレートすることにより、)デジタルビューファインダ608内に表示される画像の視覚特性に影響を及ぼす。いくつかの実施形態では、「自然光」照明オプションは、例えば、画像の前景の少なくとも一部分をぼかすことなく、画像の背景をぼかすことにより、追加の照明効果を適用することなく、深度情報に基づいて画像を修正することを含む。
図6Bに更に示すように、フィルタピッカに折りたたみ状態にあるとき、フィルタ容器に表示されないフィルタ表現(例えば、614B、614C、614D、614E)は、フィルタ容器内に表示されるフィルタ表現(例えば、614A)とは異なる視覚特性(例えば陰影)を使用して表示される。いくつかの実施例では、異なる視覚特性としては、色、形状、及びサイズが挙げられる。図6Bに更に示すように、フィルタ容器内に表示されないフィルタ表現(例えば、614B、614C、614D、614E)は、それらの位置に基づいて、互いに異なる距離(例えば、漸進的に短く、漸進的に長く)、折りたたまれたフィルタピッカユーザインタフェース(例えば612)の、フィルタ表現の一覧内で表示される。したがって、いくつかの実施例では、フィルタ表現の一覧(例えば614E)内で、フィルタ容器(例えば610)から遠くなればなるほど、ディスプレイ上では、フィルタ表現(例えば614D)に対してより近く配置される。
いくつかの実施例では、折りたたまれたフィルタピッカユーザインタフェース(例えば612)内で、フィルタ表現(例えば、614B、614C、614D、614E)の1つに対応する位置における入力(例えばタップ)を受信したことに応じて、電子デバイス(例えば600)は、入力位置に対応するフィルタ表現に対応するフィルタを適用する。したがって、フィルタ容器内にないフィルタの1つにおけるユーザのタッピングは、タップによりフィルタ容器にスクロールされるフィルタ表現をもたらし、電子デバイス600は、フィルタ容器(例えば610)のフィルタ表現に対応するフィルタを適用する。いくつかの実施例では、スワイプ入力はスクロール入力をもたらし、フィルタ表現はフィルタ容器を通してスクロールする。したがって、フィルタ容器内のフィルタが変化すると、電子デバイスは、現在フィルタ容器(例えば610)内にあるフィルタを適用する。
図6C~図6Eは、拡大したフィルタピッカユーザインタフェースのアクティベーションを示すユーザインタフェースを示す。図6Cに示すように、電子デバイス600は、フィルタ容器610の位置にてタップ入力616を受信する。いくつかの実施例では、タップ入力は、デジタルビューファインダ608の端に沿ったあらゆる領域の上に存在する。いくつかの実施例では、タップ入力は、折りたたまれたフィルタピッカユーザインタフェース612に対応するあらゆる領域の上に存在する。いくつかの実施例では、入力は、スワイプジェスチャ、タップ及びホールド(例えば、所定の期間タップしホールドする)ジェスチャ、又は、それぞれの強度閾値を上回る特性強度を有する入力に対応する。
図6Dに示すように、タップ入力616を受信したことに応じて、電子デバイス600は、図6Bの、以前に折りたたまれた(例えば、最小化)フィルタピッカユーザ(例えば612)インタフェースの、拡大したフィルタピッカユーザインタフェース613への変形を表示する。いくつかの実施形態では、図6Bにて折りたたみ状態で表示されるフィルタピッカユーザインタフェースは、図6Dにて、円弧(例えばホイール)形状のオブジェクトに変形を始める。いくつかの実施例では、拡大したフィルタピッカユーザインタフェース(例えば613)がディスプレイ上で拡大する(例えば、デジタルビューファインダを超えて重なる)と、フィルタピッカユーザインタフェースはホイール又は矩形形状に変形する。いくつかの実施例では、拡大したフィルタピッカユーザインタフェース(例えば613)が、デジタルビューファインダ(例えば608)の端からディスプレイ604の中心に向かって拡大すると、フィルタピッカユーザインタフェース(例えば612)がデジタルビューファインダ608に重なる。いくつかの実施例では、拡大したフィルタピッカユーザインタフェース(例えば613)は透光、半透光、透明、又は半透明である。いくつかの実施例では、拡大したフィルタピッカユーザインタフェース(例えば613)は不透明、又は半不透明に表示される。図6Dにおいて、拡大したフィルタピッカユーザインタフェース(例えば613)が拡大し始めると、フィルタ容器610は上方にシフトし、拡大しているフィルタピッカユーザインタフェース(例えば613)に対応する。
図6Eに示すように、拡大したフィルタピッカユーザインタフェース(例えば613)が完全に拡大すると、フィルタ容器610は、拡大したフィルタピッカユーザインタフェース613の上部まで、上方にシフトしている。いくつかの実施形態では、フィルタ表現(例えば、614A)に対応するフィルタについての追加情報(例えば618)が、フィルタ容器(例えば610)内に表示される。いくつかの実施例では、追加情報は拡大したフィルタピッカユーザインタフェース内に表示される。いくつかの実施例では、追加情報(例えば618)は、フィルタピッカユーザインタフェース近くの位置(例えば上、下)に表示される。いくつかの実施例では、追加情報はアイコン、文字、又は画像として表示される。
図6Fに示すように、電子デバイス600は、フィルタ容器内にない、フィルタの1つの表現(例えば614B)に対応する位置にて入力(例えばタップ620)を受信する。タップ入力に応じて、いくつかの実施形態において、電子デバイスは、タップ入力のディスプレイ604の位置に対応するフィルタ表現(例えば614B)に対応するフィルタを適用する。いくつかの実施例では、入力は任意選択的に、スワイプ、押圧及びホールド、又はそれぞれの強度閾値を上回る特性強度を有する入力である。いくつかの実施例では、フィルタの1つの表現(614A~614F)におけるそれぞれの強度閾値を上回る特性強度を有する入力は任意選択的に、それぞれの強度閾値を上回る特性強度を有する入力の位置と関連付けられた、対応するフィルタ表現の追加の機能性の表示をもたらす。
図6G~図6Hは、図6Fにおいて入力(例えばタップ620)を受信する電子デバイス600の結果としての、フィルタ容器610の遷移を示す。図6Gに示すように、フィルタ容器610は、フィルタ表現(例えば614A~614E)がフィルタ容器610を通してスクロールすると回転するように現れるように、表示される。図6Gに示すように、フィルタ容器610は回転の間、3次元オブジェクト(例えば立方体)のように見える。いくつかの実施形態では、フィルタ容器(例えば610)が静止しているとき、2次元画像(例えば六角形)として表される。いくつかの実施例では、フィルタ容器の3次元表現は任意選択的に、球形又は円錐である。いくつかの実施例では、フィルタ容器は、フィルタ表現がフィルタ容器を通って移動するときに、2次元であるように見える。図6Gに更に示すように、電子デバイス600は、フィルタ表現614Bに対応するフィルタをデジタルビューファインダに表示されるライブプレビューに、フィルタ表現がフィルタ容器を通ってスクロールすると徐々に適用する。
図6Hに更に示すように、フィルタ容器は、フィルタの新しい表現(例えば614B)が容器内に表示されたときに、視覚的に変化する。いくつかの実施形態では、フィルタ容器610の視覚的変化は、フィルタ容器内のフィルタの種類(例えば、デジタルビューファインダのライブプレビューに加えられた視覚的/照明効果の種類)に基づく。いくつかの実施例では、フィルタ容器(例えば610)の異なる側面(例えば表面)は、フィルタ表現614Bに対応するフィルタの視覚的(例えば照明)効果を反映する。いくつかの実施例では、フィルタ容器(例えば610)の容積(例えば、内部部分)は、フィルタ表現614Bに対応するフィルタの視覚的効果を反映する。
いくつかの実施例では、フィルタ表現(例えば、アイコン614A~614E)は、光点源に対応する様々な照明効果を適用することにより電子デバイス600が模擬するフィルタに対応する。したがって、フィルタ容器(例えば610)の視覚特性が変化して、対応するフィルタの光点源を模擬する。いくつかの実施例では、フィルタ容器(例えば610)内に表示されるフィルタは、複数の光点源を模擬する、模擬スタジオ光視覚的効果(例えば614B)に対応する。結果的に、フィルタ容器は視覚的に修正され、スタジオ照明フィルタ効果に対応する複数の光点源を模擬する。いくつかの実施例では、複数の光点源は、フィルタ選択遷移の間、3次元オブジェクト面にて模擬及び表示される。いくつかの実施例では、対応するフィルタがフィルタ容器(例えば610)内に表示されるときに、2次元オブジェクト(例えば六角形)の面に光点源が表示される。いくつかの実施例では、フィルタ容器(例えば610)の境界の外側にあるときと比較して、フィルタ容器の境界内にあるとき、フィルタ表現614Eは視覚的に区別される(例えば、異なる表現)。
図6F~図6Hに更に示すように、いくつかの実施形態において、電子デバイス600は、新しく選択されたフィルタ表現614Bに対応するフィルタを、遷移中のデジタルビューファインダに徐々に適用する。図6Gに示すように、電子デバイス600は最初に、フィルタ表現614Bに対応するフィルタをデジタルビューファインダに、50%の強度にて適用する。図6Hにおいて、フィルタ表現614Bに対応するフィルタは電子デバイスにより、完全に適用される(例えば、100%の強度)。いくつかの実施例では、電子デバイスは、遷移が完了するまでのフィルタ遷移の間、強度を増加させながら(例えば、10%、25%、50%、75%)、フィルタを適用する。
図6I~図6Jに示すように、電子デバイスにて受信する入力(例えばスワイプ622)は、フィルタの表現(614A~E)が、フィルタ容器(例えば610)を通してスクロールさせる。いくつかの実施形態では、スワイプジェスチャ(例えば622)に応じて、表示されるフィルタの表現は、フィルタピッカユーザインタフェースの上部を交差して、左にスクロールする。いくつかの実施例では、1つのスワイプジェスチャは、フィルタ表現の増分スクロール(例えば、1つ分のフィルタ移動)をもたらす。いくつかの実施形態では、スクロールしたフィルタ表現の数は、スワイプジェスチャの大きさに依存する。したがって、いくつかの実施例では、長いスワイプは短いスワイプよりも、長いスクロールを引き起こす。図6Jは、(例えば、対象の顔の深度マップに基づいて、カメラの視野内における対象の顔で「ステージ光MONO」に対応する光の集合を輝かせることを模擬することによる、)「ステージ光MONO」照明フィルタがデジタルビューファインダのライブプレビューに適用された、図6Iにおけるスワイプジェスチャの結果を示す。
いくつかの実施例では、電子デバイス600は、フィルタピッカユーザインタフェース(例えば613)との接触を検出し、フィルタピッカユーザインタフェース(例えば613)を拡大モードにて維持し続けなければならない。いくつかの実施例では、電子デバイスが接触の離昇を検出したとき、拡大したフィルタピッカユーザインタフェース(例えば613)は、折りたたみを開始し、折りたたまれたフィルタピッカユーザインタフェース状態(例えば612)に到達するまで(例えば、最小化するまで)行う。いくつかの実施例では、拡大したフィルタピッカユーザインタフェース(例えば613)は、更なる接触なしに予定時間に到達するまで、拡大モードにて表示されたままである。所定時間に到達したことを電子デバイス600が検出したとき、拡大したフィルタピッカユーザインタフェースは、折りたたまれたフィルタピッカユーザインタフェース状態(例えば612)に到達(例えば最小化する)まで、収縮状態にて表示される。
図6Kにおいて、フィルタピッカユーザインタフェースはもう一度折りたたみ状態(例えば612)になる。図6Kに示すように、電子デバイスは、拡大したフィルタピッカユーザインタフェース(例えば613)がデジタルビューファインダに重なっているかのような位置に対応する位置において、入力(例えば、タップ624)を受信する。拡大したフィルタピッカユーザインタフェースが表示されないため、図6Lに示すように、電子デバイスは入力をフォーカスコマンドとして解釈し、バウンディングボックス(例えば626)が、タップ入力(例えば624)の位置に対応する位置にて表示される。図6Lに示すように、フォーカスコマンドの処理が、フィルタ適用、又はフィルタ表現の提示のいかなる変化もなく、生じる。
図6Mに示すように、拡大したフィルタピッカユーザインタフェース(例えば613)が、拡大したフィルタピッカユーザインタフェースがデジタルビューファインダに重なっているかのような位置に対応する位置において、電子デバイスは、スワイプジェスチャ628を受信する。拡大したフィルタピッカユーザインタフェースが表示されないため、図6Nに示すように、電子デバイスは、スワイプジェスチャ628をモード変更コマンドとして解釈し、電子デバイス(例えば600)は、カメラ選択ユーザインタフェース(例えば606)を、異なるカメラモード(例えば、「スクエア」カメラモード630、ビデオカメラモード、非ポートレートカメラモード、スローモーションカメラモード、時間経過カメラモード、又はパノラマカメラモード)に変化させる。
図7A~図7Fは、いくつかの実施形態に係る電子デバイスを使用する、疑似的照明効果を画像データの表現に変化させる方法を示すフローチャートである。方法900は、1つ以上の入力デバイス(例えば、タッチ感知面、キーボード、マウス)、及びディスプレイを備えるデバイス(例えば100、300、500、600)にて実行される。いくつかの実施形態では、ディスプレイは、タッチ感知ディスプレイである。いくつかの実施形態では、ディスプレイは、タッチ感知ディスプレイではない。いくつかの実施形態では、電子デバイスは、複数のカメラを含む。いくつかの実施形態では電子デバイスは1つのカメラのみを有する。方法700における一部の操作は任意選択的に組み合わされ、一部の操作の順序は任意選択的に変更され、一部の操作は任意選択的に省略される。
後述のように、方法700は、疑似的照明効果を画像データの表現に変化させるための直観的方法を提供する。この方法は、機能に対応する入力を提供するユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが様々な機能をより高速かつより効率的に開始することを可能にすることにより、電力が節約され、バッテリ充電の間隔が増す。
ブロック702~706において、電子デバイス(例えば600)は、ディスプレイ(例えば604)上に、カメラアプリケーションユーザインタフェース(例えば606)を同時に表示し、カメラアプリケーションユーザインタフェース(例えば606)は、1つ以上のカメラの視野のライブプレビュー(例えば602及び603)を含む(例えば、ライブプレビュー又はほぼライブのプレビュー画像を含む)デジタルビューファインダ(例えば608)、及び、デジタルビューファインダ(例えば608)に重なった(第1の位置における)フィルタピッカユーザインタフェース(例えば、610、612)の表現(例えば、現在ライブプレビューに適用されているそれぞれのフィルタを示す、画像、アイコン、文字表現)を含む。いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば610)の表現は、第1の位置にある。いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば610)の表現はまず第1の位置にて開始し、第2の位置に遷移する。いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば610)は、(例えば、方法900を参照して以下にて更に詳細に記載するように、)深度マップ情報に基づいて異なる照明効果を画像に適用するフィルタ間でピッキングするためのものである。デジタルビューファインダ(例えば608)とフィルタピッカユーザインタフェース(例えば613)とを同時に表示することにより、ユーザにはカメラ(例えば602、603)の視野におけるオブジェクトについての視覚的フィードバック、及びプレビューに適用可能なフィルタがもたらされる。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック708~710において、フィルタピッカユーザインタフェース(例えば612)の表現は、第1のフィルタ(例えば614A)の表現、第2のフィルタ(例えば614B)の表現、及び第3のフィルタ(例えば614C)の表現を含み、第1のフィルタの表現の視覚特性(例えばサイズ、陰影、色)の値は、第2のフィルタの表現の視覚特性の値、及び第3のフィルタの表現の視覚特性の値とは異なる。いくつかの実施形態では、フィルタ表現はフィルタピッカユーザインタフェース(例えば612)内に表示され、フィルタピッカユーザインタフェース(例えば612)の表現内に表示される第1のフィルタとは異なる視覚特性(例えば、それらはより小さい、異なる陰影である、異なる色である)を用いて表示される。いくつかの実施形態では、第2及び第3のフィルタは、同じ値の視覚特性を有する。フィルタの様々な表現を視覚的に異なるものとすることにより、ユーザに、どのフィルタが現在選択されているかについてのフィードバックがもたらされる、あるいは、更に又は代替的に、ユーザに、それぞれのフィルタがもたらすフィルタ効果の種類についてのフィードバックがもたらされる。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック712において、フィルタピッカユーザインタフェース(例えば610)の表現は、複数の面を有する、第1の3次元オブジェクト(例えば610)の表現である。
ブロック714~716において、デジタルビューファインダ(例えば608)と、フィルタピッカユーザインタフェース(例えば612)の表現とを同時に表示しながら、電子デバイス(例えば600)は、1つ以上の入力デバイスを介して、ライブプレビューのそれぞれの部分(例えばスワイプ、タップ及びホールド、ボタン押下)に対応する位置(例えば、フィルタインジケータのアイコン上、又はその付近)にて開始する第1の入力(例えば616)を検出する。いくつかの実施形態では、入力は、デジタルビューファインダ(例えば608)の縁部全体に沿った任意の位置にて存在することができる。いくつかの実施形態では、ブロック718において、第1の入力(例えば616)は、タップジェスチャである。
ブロック720~724において、第1の入力(例えば616)を検出したことに応じて、第1の入力が検出されたときに、フィルタピッカユーザインタフェースがライブプレビューのそれぞれの部分に重なっている(例えば、フィルタピッカユーザインタフェース(例えば613)が操作の拡張モードであり、ここでは、操作の折りたたみモードのときよりもフィルタピッカユーザインタフェース(例えば613)がライブプレビュー内に更に延びる)という要件を含む、第1の基準が満たされた(例えば、フィルタ適用基準)という判定に従って、電子デバイス(例えば600)は、(例えば、第1のフィルタが現在選択されたフィルタである間に、第1のフィルタがキャプチャされたメディアに適用されていることを示すために、)第1の入力が検出される前に適用されなかった、カメラ(例えば602、603)の視野のライブプレビューに第1のフィルタのプレビューを適用する。
ブロック720、及び726~728において、第1の入力(例えば616)を検出したことに応じて、第1の入力が検出されたときに、フィルタピッカユーザインタフェース(例えば613)がライブプレビューのそれぞれの部分に重なっていない(例えば、フィルタピッカユーザインタフェース(例えば613)が操作の折りたたみモードにあり、ここでは、拡張状態と比較して、フィルタピッカユーザインタフェース(例えば613)がライブプレビュー内にまで遠くは延びていない)という判定に従って、電子デバイス(例えば600)は、第1のフィルタのプレビューをライブプレビューに適用することなく、カメラアプリケーションにおいてそれぞれの動作を実行する。満たされている第1の基準に基づいて操作を実行すること(プレビューにフィルタを適用すること、又はフィルタを適用することなくそれぞれの動作を実施すること)で、ユーザには、画像のキャプチャ及び/又は動画の記録がフィルタを含むか否かについての視覚的フィードバックが(ビューファインダ内でのアップデートの形態で)もたらされる。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。より少ない、又はより多いフィルタへのアクセスが必要になると、フィルタユーザインタフェースを折りたたむ、又は拡張することにより、ビューファインダから障害が取り除かれ、これにより、フィルタ間で容易に切り替えるためのインタフェースを提供しながら、ユーザが、カメラの視野にてキャプチャされたより多くのビューファインダ要素において、カメラ操作(例えばフォーカス、輝度、カメラモードの切り替え)を行うことが可能となる。ユーザが使用する際にフィルタユーザインタフェースを拡張することにより、ユーザがフィルタを操作することが容易となり、ユーザが使用しない際にフィルタユーザインタフェースを折りたたむことにより、ユーザがカメラ操作(例えばフォーカス、輝度、カメラモードの切り替え)を実行することが容易となる。関係するユーザインタフェース要素の障害を制限しながら、追加の制御をもたらすことにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、ブロック730において、それぞれの動作を実行することには、入力が検出されるライブプレビューのそれぞれの部分において、カメラ(例えば602、603)の視野に位置するオブジェクトにおいて、メディアキャプチャのための焦点を選択すること(例えば、そして任意選択的に、デジタルビューファインダ(例えば608)の表示をアップデートして、1つ以上のカメラ(例えば602、603)の視野の中の1つ以上のオブジェクトのそれぞれのオブジェクトの表現をフォーカスする(例えば、ボックス626により表現された))が含まれる。フォーカシングのためのオブジェクトを目標とするタップジェスチャを受信することにより、フォーカスのためのオブジェクトを選択し、所望のオブジェクトがフォーカス内に配置されるまでフォーカスを変化させる、複数又は拡張した入力を提供するための必要性を避ける、正確な目標メカニズムをユーザに提供し、それにより焦点を選択する必要な入力の数を低減させる。焦点を選択するために必要な入力数を減少させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、ブロック732~734において、フィルタピッカユーザインタフェース(例えば613)が表示され、ライブプレビューのそれぞれの部分に重なる間(例えば、フィルタピッカユーザインタフェース(例えば613)が拡張状態で表示される間)、そして、第1のフィルタがカメラ(例えば602、603)の視野のライブプレビューに適用される間、電子デバイス(例えば600)は、フィルタピッカユーザインタフェース(例えば613)に対応する位置において開始する第3の入力(例えば620)(例えばスワイプ又はタップ)を検出する。
いくつかの実施形態では、ブロック736~740において、第3の入力(例えば620)を検出したことに応じて、電子デバイス(例えば600)は、複数のフィルタの表現における第2のフィルタ(例えば614B)の表現を、現在選択されているフィルタに対応するディスプレイ(例えば604)の位置に移動させ、(例えば、異なるフィルタ表現がフィルタピッカUIの表現内に表示されると)電子デバイス(例えば600)は、(例えば、第第2のフィルタが現在選択されているフィルタである間に、第2のフィルタがキャプチャされたメディアに適用されることを示すために、)第2のフィルタ(例えば614B)のプレビューを視野のライブプレビューに適用する。選択されたフィルタの表現を、現在選択されているフィルタに対応する位置に移動させることにより、ユーザに、ライブプレビューに適用されている(又は適用されるであろう)フィルタを含む、デバイス状態についての視覚的フィードバックが提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック742において、電子デバイス(例えば600)は、触知出力を提供する(例えば、触知出力は、あるフィルタから別のフィルタに、現在選択されているフィルタを切り替えるときに提供される)。
いくつかの実施形態では、ブロック744~746において、フィルタピッカユーザインタフェース(例えば613)が表示され、かつライブプレビューのそれぞれの部分に重ね合わされていない間(例えば、フィルタピッカが折りたたみ状態で表示される間)、電子デバイス(例えば600)は、フィルタピッカユーザインタフェース(例えば612)に対応する位置において開始する、第2の入力(例えば616)を検出する。いくつかの実施例では、折りたたまれたフィルタピッカユーザインタフェースの任意の表示部分に対応する入力は、インタフェースを拡張させる。
ブロック748において、第2の入力を検出したことに応じて、電子デバイス(例えば600)はフィルタピッカユーザインタフェース(例えば613)を拡張させて、ライブプレビューのそれぞれの部分に重ね合わせる。フィルタピッカユーザインタフェース(例えば613)を拡張することにより、ユーザに、例えば、さほど正確でない入力を使用して、所望の目標を正確に選択可能となるように、フィルタの個別の表現を広げることによって、所望のフィルタをより正確に目標にする能力が提供される。より正確な目標制御を提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、ブロック750~752において、フィルタピッカユーザインタフェース(例えば610)の表現が、複数のフィルタの表現のうちの、第6の表現と関連付けられる間、そして、フィルタピッカユーザインタフェース(例えば610)の表現が、複数の面のうちの第1の面を提示する間、フィルタピッカユーザインタフェース(例えば613)に対応する位置において開始する第6の入力(例えば620)(例えば、スワイプ又はタップ)を検出する。
いくつかの実施形態では、ブロック754~760において、第6の入力(例えば620)を検出したことに応じて、電子デバイス(例えば600)がコンテナオブジェクトを回転させて、第6の入力を検出する前に表示されなかった複数の面のうちの第2の面を提示し、現在選択されているフィルタである第1のフィルタから、現在選択されているフィルタである、第1のフィルタとは異なる第2のフィルタに切り替え、第2のフィルタのプレビューを、視野のライブプレビューに適用する。いくつかの実施例では、3次元オブジェクト(例えば610)は、アニメーション(例えばスピン)が始まるまで、2次元オブジェクトとして現れる。いくつかの実施形態では、フィルタの量が、3次元オブジェクト(例えば610)にて利用可能な面の量よりも大きい場合、1つの面を使用して、2つ以上の異なるフィルタを示すことができる。一例として、立方体(例えば610)の第1の面は第1のフィルタを表示し、立方体が4回転した後、第1の面は、複数のフィルタから第5のフィルタを表示する。コンテナオブジェクトを回転させて現在選択されているフィルタを提示することにより、ユーザに、適用されているフィルタが変化していることを含む、デバイス状態についての視覚的フィードバックが提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば613)はフィルタピッカユーザインタフェース(例えば610)の表現、及び複数のフィルタの表現を含む。いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば613)はデジタルビューファインダ(例えば608)と重なり合う。いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば613)はホイール、ダイヤル、半ダイヤル、ダイヤルの一部、又はスライダとして表示される。いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば613)は長方形である。
いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば613)を拡張させて、ライブプレビューのそれぞれの部分と重ね合わせることは、フィルタのプレビューを、第2の入力が検出される前に適用されなかったカメラ(例えば602、603)の視野のライブプレビューに適用することなく生じる。
いくつかの実施形態では、第1の状態(例えば移動中、拡張)にあるときのフィルタピッカユーザインタフェース(例えば610)の表現は、第2の3次元オブジェクトの表現を含有する内容積を囲い込む複数の面を有する、コンテナオブジェクト(例えば610)の表現である。いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば610)の表現は、移動していないとき、2Dオブジェクトのように見える(例えば、六角形に見えるように配置された、疑似的立方体である)。第1の状態にあるときに、3次元オブジェクトを含有する内容積を有するものとしてコンテナオブジェクトを表現することにより、ユーザに、プレビューされている環境に対応する仮想的3次元環境内で、光源などの源を配置することについてのフィードバックが提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば610)の表現は、第1の状態とは異なる第2の状態(例えば静止、最小化)にあり、コンテナオブジェクトの表現が変化して、陰影及び/又は照明効果が取り除かれる(例えば、これによりコンテナオブジェクトの表現は、六角形などの2Dオブジェクトに平坦化したように見える)。コンテナオブジェクトの表現が変化して、陰影及び/又は照明効果が取り除かれることによって、ユーザへの視覚的散乱が低下し、ユーザの注意がカメラのビューファインダから離れることを避けるのに役立つ。更に、効果が必要ないときにこのような効果を取り除くことにより、コンピュータ処理の必要な数が低下する。視覚的散乱を低下させ、コンピュータ処理を低下させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、また更に、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば610)の表現は第1の状態(例えば移動中、拡張)にあり、複数の面のうちの1つ以上の面、又は内容積は、複数のフィルタの提示された現在選択されているフィルタに基づいて、視覚的外観を有する。(例えば、立方体の側面における照明を示し、照明の変化を示す)いくつかの実施形態では、立方体が回転するときに、異なるフィルタ表現がフィルタピッカUIの表現内で表示される。複数の面の視覚的外観、又はコンテナオブジェクトの表現の内容積に基づいて、第1の状態にある間、現在選択されているフィルタにおいて、プレビューされている環境に対応する仮想的3次元環境内において、ユーザに、光源などの源の位置決めについてのフィードバックが提供される。ユーザに、光源の状態(イネーブル、ディスエーブル、輝度レベル)についてのフィードバックが提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態に従うと、フィルタピッカユーザインタフェース(例えば610)の表現は、第1の状態とは異なる第2の状態(例えば静止、最小化)にあり、フィルタピッカユーザインタフェース(例えば610)の表現の視覚的外観は、内容積内に表示される複数のフィルタの、現在選択されているフィルタに基づかない。いくつかの実施形態では、フィルタピッカUI用の表現が最小化される、又は静止しているときには、フィルタの効果は表示されないが、フィルタピッカが拡張子、3D表現として表示される場合は、表示される。
いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば613)が表示され、かつライブプレビューのそれぞれの部分に重なっていない間(例えば、フィルタピッカが折りたたみ状態で表示される間)、フィルタピッカユーザインタフェース(例えば610)の表現、及び複数のフィルタの表現は、ディスプレイ(例えば604)の縁部に実質的に平行な線に沿って配置される。フィルタピッカユーザインタフェース(例えば610)の表現、及び複数のフィルタの表現を、ディスプレイ(例えば604)の縁部に実質的に平行な線に沿って配置することにより、残りを、利用できる照明効果のユーザに提供しながら、ライブプレビューでの対象の視認性が増加し、ユーザが、ビューファインダ要素上でカメラ操作(例えばフォーカス、輝度、カメラモードの切り替え)を一層容易に実行することを可能にする。関係するビューファインダ要素の視認性を維持しながら追加の制御を提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。いくつかの実施形態では、追加のフィルタオプションは、フィルタピッカユーザインタフェース(例えば610)の表現から離れて両方向に延びるディスプレイ(例えば604)の縁部に沿って配置され、いくつかの実施形態において、追加のフィルタオプションは、フィルタピッカユーザインタフェース(例えば610)の表現から一方向に延びるディスプレイ(例えば604)の縁部に沿って配置される。いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば610)の表現は、ライブプレビューの縁部付近にて表示される。
いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば613)がライブプレビューのそれぞれの部分に重なり合っている間(フィルタピッカユーザインタフェース(例えば613)が拡張状態で表示されている間)、フィルタピッカユーザインタフェース(例えば610)の表現、及び複数のフィルタの表現は、曲線(例えば、ディスプレイ(例えば604)の縁部に平行ではない線)に沿って配置される。一部の実施形態では、シフトした場所は円弧又はホイールのように見える。いくつかの実施形態では、双方向作用は、ディスプレイ(例えば604)の底縁の任意の場所に沿ったジェスチャ(スワイプ又はタップ)を使用することを含む。シフトした場所を円弧又はホイールとして表すこと、及び、ディスプレイ(例えば604)の底縁に沿ってジェスチャ(スワイプ又はタップ)を使用して、円弧又はホイールと双方向作用させることにより、ユーザインタフェースにおける、ユーザの混乱を低下させる連続性をもたらし、これにより、ユーザはより少ない入力を提供し、所望の操作を実行することとなる。操作を実行するのに必要な入力数を減少させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第1の入力はタップジェスチャであり、ライブプレビューのそれぞれの部分に対応する位置は、複数のフィルタの表現における第1のフィルタの表現に対応する位置である。いくつかの実施形態では、拡張したフィルタピッカUIは拡張状態で表示される。いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば613)は折りたたみ状態にて表示される。
いくつかの実施形態では、第2のフィルタの表現は、第1のフィルタの表現から第1方向であり、第3のフィルタの表現は、第2のフィルタの表現から第1方向であり、視覚特性の値は、第1方向において、第1のフィルタの表現から第2のフィルタの表現、そして第3のフィルタの表現へと、漸進的に変化する(例えば、単調に増加する、又は単調に減少する)(例えば、フィルタの表現は、現在選択されているフィルタの表現から遠ざかれば遠ざかるほど、不透明度が徐々に小さくなる、かつ/又は低下する)。第1方向において、第1のフィルタの表現から第2のフィルタの表現、そして第3のフィルタの表現へと漸進的に変化する視覚特性の値は、ユーザの注意散漫を低下させ、ライブプレビューの視認性を向上させ、特定、及びフィルタへのアクセスを容易にすることが可能な構造化システムを提供する。向上した視覚的フィードバックを提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。いくつかの実施形態では、フィルタ表現はフィルタピッカユーザインタフェース(例えば613)内に表示され、フィルタピッカユーザインタフェース(例えば610)の表現からのものである、それぞれの対応するフィルタ表現に基づいた異なる視覚特性を使用して、表示される。
いくつかの実施形態では、フィルタピッカユーザインタフェース(例えば613)はライブプレビューのそれぞれの部分に重なり合い(フィルタピッカユーザインタフェース(例えば613)が拡張状態で表示され)、フィルタピッカユーザインタフェース(例えば613)は、第1のフィルタの表現と関連付けられて表示される第1のフィルタについての追加情報(例えば、フィルタ名の表示)を含む。
いくつかの実施形態に従うと、第1の入力はスワイプジェスチャ(例えば628)であり、それぞれの動作を実行することは、電子デバイス(例えば600)のカメラキャプチャモードを変化させることを含む(例えば、モードは動画、写真、ポートレート、矩形、パノラマ、スローモーション、タイムラプスのいずれかに変化する)。
いくつかの実施形態では、第2のフィルタのプレビューを適用することは、第1のフィルタのプレビューの適用と、第2のフィルタのプレビューの適用との間で徐々に遷移することを含む。いくつかの実施形態では、徐々に遷移することは、第1の時間に100%1番目、0%2番目、第2の時間に90%1番目、10%2番目、などを含む。
なお、方法700に関して前述した処理(例えば、図7A~図7F)の詳細はまた、後述する方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法900、1100、1300、1500及び1700は、方法700に関して上述した様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、様々な方法の中から、フィルタユーザインタフェース、アフォーダンス、及び制御の要素を組み合わせることができる。別の例として、方法700におけるビューファインダは、方法900、1100、1300、1500、1700のビューファインダと類似している。簡潔にするために、これらの詳細は、以下で繰り返さない。
いくつかの実施形態では、電子デバイス800は、図6Aに示すように、デバイス600の特徴の一部又は全てを含む。いくつかの実施形態では、デバイス800は、(例えば、電子デバイス800の裏面に)複数のカメラ602及び603を含む。いくつかの実施形態ではデバイス800は、デバイス100、300、及び/又は500の1つ以上の特徴を含む。いくつかの実施例では、電子デバイス(例えば、800)は、固定されているが異なる焦点距離を有する複数のカメラを有する。いくつかの実施例では、複数のカメラは、電子デバイス(例えば、800)の前面、背面、又は両側にある。いくつかの実施形態では、異なる固定焦点距離を有することに加えて、複数のカメラは、異なる固定視野及び異なる固定光学倍率特性を有する。いくつかの実施形態では、カメラ(例えば、602)は、複数の焦点距離を使用して画像データをキャプチャする。いくつかの実施形態では、1つのカメラ(例えば、602)は、複数の焦点距離をキャプチャし、したがって、固定されているが異なる焦点距離を有する複数のカメラと同じ結果を生成する。いくつかの実施例では、電子デバイス(例えば800)は、赤外線カメラ、自己温度計カメラ、又はこれらの組み合わせなどの深度カメラを含む。いくつかの実施例では、デバイスは、IRフラッド光、構造化光プロジェクタ、又はそれらの組み合わせなどの発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、可視光カメラ及び深度カメラ(例えば、IRカメラ)によって画像のキャプチャ中に対象を照らすために使用され、深度カメラ及び可視光カメラからの情報は、可視光カメラによってキャプチャされた対象の異なる部分の深度マップを判定するために使用される。いくつかの実施形態では、本明細書に記載する照明効果は、後ろ向きの画像に対する2つのカメラ(例えば、2つの可視光カメラ)からの不一致情報、及び前向きの画像(例えば、セルフィ画像)に対する可視光カメラからの画像データと組み合わせた深度カメラからの深度情報を使用して表示される。いくつかの実施形態では、2つの可視光カメラを使用して深度情報を判定するときと、深度カメラを使用して深度情報を判定するときに、同じユーザインタフェースが使用され、照明効果を生成するときに使用される情報を判定するために劇的に異なる技術を使用したときでも、一貫したエクスペリエンスをユーザに提供する。いくつかの実施形態では、照明効果のうちの1つが適用された状態でカメラユーザインタフェースを表示しながら、デバイスは、カメラ切り替えアフォーダンスの選択を検出し、前向きのカメラ(例えば、深度カメラ及び可視光カメラ)から後ろ向きのカメラ(例えば、互いから隔置された2つの可視光カメラ)へ切り替え(又は逆も同様である)、照明効果を適用するためのユーザインタフェース制御の表示を維持しながら、前向きのカメラの視野から後ろ向きのカメラの視野へ表示を置き換える(又は逆も同様である)。
図8Aに示すように、電子デバイス800は、タッチ感知性であるディスプレイ804(例えばタッチスクリーン)を含み、ディスプレイは、カメラ(例えば602)から受信した画像データを表示する。いくつかの実施形態において、ディスプレイはタッチ感知面とは異なる。いくつかの実施例では、複数のカメラ(例えば、602及び603)は、電子デバイス(例えば800)の前面、背面、又は両面に配置される。
図8Aは、ディスプレイ804上にて、カメラ(例えば602)により画像をキャプチャするためのカメラアプリケーションユーザインタフェース805を表示する電子デバイス800を更に示す。カメラアプリケーションユーザインタフェース805は、カメラ(例えば602又は603)の視野のライブプレビューを含む、デジタルビューファインダ810を更に含む。いくつかの実施形態では、カメラはリアルタイムで、画像データと関連付けられた深度情報をキャプチャする。図8Aは、前景領域(例えば808)に対象(例えば女性)、及び背景領域にフェンス(例えば811)を含む、視野の中で異なる深度レベルをキャプチャするカメラを更に示す。いくつかの実施例では、カメラ(例えば602)は、視野の中で3、4、5、10、20、又はそれ以上の深度レベルをキャプチャする。電子デバイス800は、以下でより詳細に論じるとおり、デジタルビューファインダ(例えば810)内に表示される画像データ(例えば806)の表現にフィルタを適用する際に、様々な深度レベルを利用する。
更に、図8Aは、拡張状態でフィルタピッカユーザインタフェース813を表示する電子デバイス800を示す。フィルタピッカユーザインタフェース813は、デジタルビューファインダ810の縁部に沿って配置される。いくつかの実施例では、フィルタピッカユーザインタフェース(例えば813)は、任意選択的に、デジタルビューファインダ(例えば810)の上、下、左側、又は右側に表示される。いくつかの実施例では、フィルタピッカユーザインタフェース(例えば813)は、1つ以上の行及び列に配置された、又は円形状の向きに配置された、フィルタの1つ以上の表現(例えば、視覚的効果の表現)を含む。
いくつかの実施例では、フィルタピッカユーザインタフェース(例えば813)は、デジタルビューファインダに対応する任意の位置において表示される。いくつかの実施例では、フィルタピッカユーザインタフェース(例えば813)は輪郭(例えば境界)により描かれ、デジタルビューファインダからフィルタピッカユーザインタフェースを区別する。いくつかの実施形態では、折りたたみ状態にあるとき、フィルタピッカユーザインタフェース(例えば813)は透光(又は部分的に透光)であり、目視できる境界を有しない。結果として、いくつかの実施例では、フィルタピッカユーザインタフェース(例えば813)は、デジタルビューファインダと混ざっている(例えば区別ができない)ように見える。
図8Aに示すように、電子デバイス800は、視覚的効果に対応する1つ以上のフィルタ表現(例えば814A、814B、814C、814D、814E)を含むフィルタピッカユーザインタフェース813を表示する。いくつかの実施例では、フィルタピッカユーザインタフェース(例えば813)は任意選択的に、ディスプレイに表示されていないフィルタ表現を含む(例えば、これらは画面の外にある)。いくつかの実施例では、表示されないフィルタ表現は、電子デバイスが入力(例えばスワイプジェスチャ)を受信するときに表示され、これにより、フィルタ表現の、フィルタコンテナ(例えば816)を通してのスクロールがもたらされる。
図8Aに更に示すように、いくつかの実施形態では、電子デバイス800は、フィルタピッカユーザインタフェース(例えば813)内でフィルタ表現(例えば814A)を表示し、現在選択されている視覚的効果を示す。いくつかの実施形態では、フィルタ表現814Aは、「自然光」照明効果フィルタに対応する。したがって、前景領域808及び背景領域809は、(例えば、シーンからの自然光を使用して)「自然光」照明効果フィルタを用いて表示される。図8Aの画像表現は、あらゆる合成光を用いずに示されるため、シーンからの自然光は、対象(例えば顔、首、及び衣類)にて様々な陰影を作成する。いくつかの実施例では、照明効果に対応する可能なフィルタ表現(例えば、814A~814E)は、「スタジオ光」照明効果、「輪郭光」照明効果、「ステージ光」照明効果、及び「ステージ光MONO」照明効果を含む。画像データ(例えば806)の表現に加えられたときに、それぞれの先行する照明効果は、ディスプレイ804上に表示される画像データの表現の視覚特性に影響を及ぼす。
いくつかの実施形態では、電子デバイス800が自然照明効果を適用するとき、合成照明は画像に加えられない(例えば、元の画像が表示される)。対照的に、スタジオ照明効果は、対象の周りに均一に配置された、複数の分離光点源(例えば、写真スタジオ内の光)のモデリングを含む(例えば、輝いた完全な照明効果を作成する)。輪郭照明効果は、対象の周囲に沿って配置される、複数の分離光点源のモデリングを含む(例えば、スリミング効果を作成する、対象の顔の側面、及び/又は対象の顎の上に陰影を作成する)。ステージ光照明効果は、対象の上に配置された、1つの分離点光源のモデリングを含む(例えば、スポットライト効果を作成する)。ステージ光MONO照明効果は、対象の上に配置された1つの分離点光源の、モノクロでのモデリングを含む(例えば、モノクロでスポットライト効果を作成する)。
いくつかの実施例では、電子デバイス(例えば800)は、画像データの表現において対象の顔を検出する。したがって、電子デバイスは、照明効果を適用するときに、画像データの深度マップ情報、及び対応する顔の特徴を用いる。結果的に、照明効果は対象の顔の周りに、より正確に加えられ、特定の顔の特徴が、選択された照明効果に基づいて、異なって照明される(例えば、対象の顎及び/又は頬の骨の周りの陰影の増減)。いくつかの実施例では、画像データは、オブジェクトの深度輪郭を含む深度マップ情報を含む。結果的に、電子デバイスは輪郭データを使用して、対象の周りに照明効果をより正確に適用する。
図8Bに示すように、電子デバイス800は、フィルタピッカユーザインタフェース(例えば813)に対応する位置において、入力(例えばスワイプ818)を受信する。図8Cに示すように、入力(例えばスワイプ818)は、フィルタ表現(814A~E)を、フィルタ容器(例えば816)を通してスクロールさせる。いくつかの実施形態では、入力(例えばスワイプ818)に応じて、フィルタ表現は、フィルタピッカユーザインタフェース(例えば813)の上部境界を横切り、左にスクロールする。いくつかの実施例では、1つのスワイプジェスチャは、フィルタ表現の増分スクロールをもたらす。いくつかの実施形態では、スクロールしたフィルタ表現の数は、スワイプジェスチャの大きさに依存する。したがって、いくつかの実施例では、長いスワイプは短いスワイプよりも、長いスクロールを引き起こす。
入力(例えば、818スワイプ)に応じて、いくつかの実施形態において、電子デバイス800は、タップ入力のディスプレイ804上の位置に対応するフィルタ表現(例えば814B)に対応する照明効果を適用する。いくつかの実施例では、入力はスワイプ、押圧及びホールド、又はそれぞれの強度閾値を上回る特性強度を有する入力である。いくつかの実施例では、フィルタ(814A~814F)の1つの表現にて検出した、それぞれの強度閾値を上回る特性強度を有する入力は任意選択的に、それぞれの強度閾値を上回る特性強度を有する入力の位置と関連付けられた、対応するフィルタ表現用の追加の機能性の表示をもたらす。
いくつかの実施形態では、追加の視覚的効果を、フィルタ表現(例えば814B)に相当する照明効果を適用する前に、画像データ(例えば806)の表現全体に適用してよい。例えば、ステージ照明フィルタを適用する前に、わずかな勾配フィルを画像データ(例えば806)の表現に適用すること、フィルタなしから照明効果フィルタへのよりなめらかな遷移が可能になる。
図8C~8Dは、図8Bで電子デバイスが入力(例えばスワイプ818)を受信する結果、照明効果を徐々に適用する電子デバイス800を示す。いくつかの実施形態では、新しく選択されたフィルタ表現814Bに対応する照明効果を、ライブプレビューで画像データ(例えば806)の表現に徐々に適用する。選択した照明効果が「スタジオ光」であるため、対応する視覚的効果は、前景領域808内で対象に影響を及ぼす、複数の点光源を模擬する。結果的に、遷移段階の間(図8C)、フィルタ表現814Bに対応する照明効果は、50%強度にてライブプレビューに加えられる。フィルタ表現814Bに対応するフィルタは、図8Dにおいて完全に適用される(例えば100%)。いくつかの実施例では、遷移が完了するまで電子デバイス800が照明効果を適用する間、フィルタは徐々に適用される(10%、25%、50%、75%)。いくつかの実施例では、電子デバイス800が「スタジオ光」光効果を画像データの表現に適用するとき、背景領域(例えば809)は完全に暗色化する。いくつかの実施形態では、電子デバイス800が「スタジオ光」光効果を画像データの表現に適用するとき、背景領域(例えば809)は完全に暗色化する。
図8C~8Dに示すように、カメラ(例えば602)によりキャプチャされた画像データが、画像データと関連付けられた深度マップ情報を含むため、電子デバイスは利用可能な深度マップ情報を使用することができ、画像データ806の表現にて、様々な点光源の効果を模擬することができる。いくつかの実施形態では、同じ照明効果は、画像データと関連付けられた深度マップ情報に基づいて、前景領域と比較して背景領域では異なって加えられる。結果的に、前景の対象はより目立って現れ得、背景の対象は、暗色化効果により、さほど目立たないようになり得る。更に、図8Dに示すように、照明効果は光点源を模擬するため、深度マップ情報を使用して、前景領域(例えば808)内の対象の顔に、様々な陰影をキャストする。図8Dに示すように、「スタジオ光」照明効果は複数の光点源を模擬するため、「自然光」照明効果と比較して、電子デバイス800は深度マップ情報を使用して、対象の顔の陰影を少なくする。
図8E~8Fに示すように、電子デバイス800は入力(例えばタップ820)を受信し、フィルタ(814A~E)の表現を、フィルタ容器(例えば816)を通してスクロールさせる。いくつかの実施形態では、フィルタ表現(例えば814E)に対応するタップジェスチャ(例えば820)に応じて、フィルタの表現は、フィルタピッカユーザインタフェース(例えば813)の上部周辺部を交差して左にスクロールする。図8Fは、電子デバイス800が「ステージ光MONO」フィルタをデジタルビューファインダに適用した、図8Eのタップジェスチャ(例えば820)の結果を示す。「ステージ光MONO」照明効果は、1つの点光源を模擬し、結果的にスポットライト効果に似る。深度マップ情報を使用して、前景領域(例えば808)の対象の上から、電子デバイス800は「ステージ光MONO」効果を適用する。いくつかの実施例では、点光源を模擬して、あらゆる方向から開始してよい。いくつかの実施例では、「ステージ光MONO」効果を模擬して前から開始し、結果的に特定の焦点(例えば顔)が強調されるが、画像データの表現の残りの部分は暗色化される。図8Fに示すように、模擬点光源は対象の上から開始するため、電子デバイスは、画像データの深度マップ情報を使用して、対象(例えば顔及び首)に、より深い陰影をキャストすることができる。いくつかの実施形態では、画像の背景を取り除き、黒若しくは白、又はユーザが選択した色などの一体色で置き換えて、前景に対象の注意を更に引き、ユーザが一体の背景に対して写真撮影可能なスタジオ設定を模擬する。
8Gに示すように、電子デバイスは、深度情報をキャプチャするのに適切な状態にない場合がある。図8Gは、図8Fにおいて電子デバイスを操作するときにユーザがいた位置から数歩下がった後に、電子デバイス800を操作するユーザを示す。ユーザが後ろに下がった結果、電子デバイスは、深度情報をもはやキャプチャできない(例えば、カメラが深度情報をキャプチャするための条件がもはや検出されない)。いくつかの実施形態では、深度効果をキャプチャするための条件がもはや満たされないときに、以前に加えられていた照明効果は、徐々にフェードアウトする。いくつかの実施例では、深度効果をキャプチャするための条件がもはや満たされないとき、以前に加えられていた照明効果は消えてしまう(例えば、デバイスは遷移を行うことなく適用された、照明フィルタのない状態に戻る)。いくつかの実施形態では、任意選択的に照明効果フィルタの一部である、一時的なフィルタ(例えば傾斜)を、フィルタが消えるときに画像表現に適用する。一時的なフィルタは、照明効果が再び加えられたときに、遷移をスムーズにする(例えば、より調和する)のに役立つ。
いくつかの実施形態では、電子デバイスが、深度マップデータをキャプチャするのに必要な条件を検出しないときに、電子デバイス800はグラフィックインジケーション(例えば822)を表示して、ユーザに、電子デバイス(例えば800)が深度マップ情報をキャプチャするためにどんな行動を取るのかを示す。いくつかの実施例では、電子デバイスは、対象を検出するが、対象が遠く離れすぎており(例えば、焦点が2.5mから10mの間にある)、電子デバイスは、カメラに近づける(例えば、8フィート以内に)ようにユーザに(例えば、グラフィックインジケーションを使用して)指示する。いくつかの実施例では、電子デバイスは、光量が低すぎる(例えば、400ルクス以下)ことを判定し、より多くの光を提供するようにユーザに(例えば、グラフィックインジケーションを用いて)指示する。いくつかの実施例では、このような指示をユーザが無効又は有効にすることができるように、ビューファインダ内にアフォーダンスが表示される。いくつかの実施例では、深度効果マップをキャプチャするための条件が満たされるときに、電子デバイス800は、ユーザを指示するグラフィックインジケーションの表示を取り止める。これにより、いくつかの実施例では、ユーザの行動が照明効果を適用するのに有用でない場合に、電子デバイス800は、ユーザに指示しない。
図8Hに示すように、ユーザが数歩前進し、電子デバイスが再び、深度マップ情報をキャプチャするために必要な条件を検出するときに、照明効果は(例えば、遷移することなく)消える。いくつかの実施例では、深度マップ情報をキャプチャするための条件が再び満たされたときに、電子デバイス800は照明効果を、画像データの表現に徐々に適用する。
図8Iに示すように、電子デバイスは、フォトビューワアプリケーション(例えば826)に対応する位置において、入力(例えばタップ824)を検出する。入力(例えば826)を受信したことに応じて、図8Jに示すように、電子デバイス800は画像ビューモード(例えば、カメラデータのライブプレビューではなく、以前にキャプチャした画像を見るためのモード)に切り替わる。
図8Jは、フォトビューワアプリケーション用のユーザインタフェースを示す。フォトビューワアプリケーションは、828Dが最後のキャプチャ画像である、以前にキャプチャした画像(例えば828A~828D)のサムストリップを含む。いくつかの実施例では、以前にキャプチャした画像を、電子デバイス(例えば800)に対応するカメラを使用してキャプチャした。いくつかの実施例では、電子デバイス(例えば800)は、リモートソース(例えばサーバ)から、以前にキャプチャした画像(例えば828A~828D)を受信し、任意選択的に、以前にキャプチャした画像は異なる電子デバイス(例えば、800ではない)によりキャプチャされた。
図8Jは、最後にキャプチャされた画像(例えば828D)が、視覚的効果(例えば、背景がぼかされ、前景の一部がぼかされておらず、前景がフォーカスの平面内にある、浅い焦点深度を有する写真撮影を模擬する、擬似的深度効果(ボケ)830、及び照明効果832)との組み合わせでキャプチャされたことを更に示す。いくつかの実施形態では、電子デバイスは、以前にキャプチャした画像データが深度マップ情報を含むことのユーザに対するインジケーションとして、ディスプレイの上部に「ポートレート」視覚インジケータ(例えば834)を表示する。いくつかの実施例では、電子デバイス(例えば800)は、視覚インジケータに対応する位置において入力を受信し、疑似的深度効果(例えばボケ)効果のオンオフを切り替える。いくつかの実施形態では、疑似的深度効果がオフに切り替わると、照明効果はそのままとなる。いくつかの実施例では、視覚インジケータはアクティベーションされたとき、疑似的深度効果及び照明効果を共に切り替える。いくつかの実施例では、電子デバイスは任意選択的に、入力を受信して、フィルタピッカユーザインタフェース(上述した)を用いて、フォトビューワアプリケーション内で照明効果を、異なる照明効果に変化させる。いくつかの実施例では、以前にキャプチャした画像データが深度マップ情報を有しない場合、電子デバイス(例えば800)は、疑似的深度効果又は照明効果を適用するオプションを提供しない。いくつかの実施例では、以前にキャプチャした画像データが、画像データと関連付けられた深度マップ情報を有しない場合、電子デバイスは視覚インジケータ(例えば834)を表示しない。
いくつかの実施例では、電子デバイス(例えば800)は深度マップ情報をと画像データを、1つのファイルにして記憶する。いくつかの実施例では、電子デバイス(例えば800)は深度マップ情報を画像データとは別に記憶する。いくつかの実施形態では、電子デバイスが、深度マップ情報と共に画像を、平坦な画像として(例えば、深度マップ情報なしで)記憶すると、電子デバイス(例えば800)は、照明効果を画像データの表現に適用することができなくなる。
図9A~図9Dは、いくつかの実施形態に係る電子デバイスを使用して、疑似的照明効果を画像データの表現に適用するための方法を示すフローチャートである。方法900は、1つ以上の入力デバイス(例えば、タッチ感知面、キーボード、マウス)、及びディスプレイを備えるデバイス(例えば100、300、500、800)にて実行される。いくつかの実施形態では、ディスプレイは、タッチ感知ディスプレイである。いくつかの実施形態では、ディスプレイは、タッチ感知ディスプレイではない。いくつかの実施形態では、電子デバイスは、複数のカメラを含む。いくつかの実施形態では電子デバイスは1つのカメラのみを有する。方法900のいくつかの操作は任意選択的に組み合わされ、いくつかの操作の順序は任意選択的に変更され、いくつかの操作は任意選択的に省略される。
後述のように、方法900は、疑似的照明効果を画像データの表現に適用するための直観的方法を提供する。この方法は、機能に対応する入力を提供するユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが様々な機能をより高速かつより効率的に開始することを可能にすることにより、電力が節約され、バッテリ充電の間隔が増す。
いくつかの実施形態では、ブロック902において、画像データ(例えば806)の表現を表示する前に、電子デバイス(例えば800)は、デバイスにおいて(例えばカメラから、メモリから、サーバから)画像データ、及び画像データと関連付けられた深度マップ情報を受信する。いくつかの実施形態では画像データはRGB、及び深度マップ値を含む。いくつかの実施形態では、画像データ及び深度マップは、電子デバイス(例えば800)の外側にあるソースから受信される(例えば、データはサーバから受信される)。いくつかの実施形態では、画像は、1つのファイル内の深度情報(例えば深度マップ)とRGBデータの分離を可能にするファイルフォーマットで保存される。いくつかの実施形態では、画像データは深度マップ情報を含む。いくつかの実施形態では、深度マップ情報及び深度マップ情報は別である。画像データ(例えば806)の表現を表示する前に、画像データに対応する画像データ及び深度マップ情報を受信することにより、デバイスがユーザに、項目がシーンの背景(例えば809)にあるのか、又は前景(例えば808)にあるのかなどの、深度マップ情報のコンテンツについての画像データ(例えば806)の表現を介して、視覚的フィードバックを提供することを可能にする。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
ブロック904において、電子デバイス(例えば800)はディスプレイ(例えば804)上に、深度マップ情報と関連付けられた画像データの表現を表示する。いくつかの実施形態では、画像又は写真は、デバイスのディスプレイ(例えば804)上に表示される。いくつかの実施形態では、画像データのライブプレビューはデジタルビューファインダ(例えば810)内に表示される。画像データのライブプレビューをデジタルビューファインダ(例えば810)内に表示することユーザは写真を、繰り返し写真をキャプチャする必要なく、素早くかつ効率的にフレーミングすることが可能となり、これにより、目的の写真のキャプチャに必要な入力数が減少し、写真の記憶のためのメモリ要件が低下し、ユーザインタフェースがより効率的になる。所望の画像をキャプチャするために必要な入力数を減少させ、メモリ要件を低下させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、ブロック906において、電子デバイス(例えば800)は、1つ以上のカメラ(例えば602及び/又は603)を更に含み、画像データ(例えば806)の表現は、デジタルビューファインダ(例えば810)に表示される1つ以上のカメラ(例えば602及び/又は603)の視野の中でキャプチャされた、画像データのライブプレビューである。いくつかの実施形態では、デバイスは、様々な焦点距離を有する複数のカメラ(例えば602及び/又は603)を含む。
いくつかの実施形態では、ブロック908において、画像データと関連付けられた深度マップ情報は、少なくとも3つの異なる深度レベルに対応する情報を含む。例えば、画像データは、少なくとも背景深度レベル、前景深度レベル、及び中間の深度レベルに対応する情報を含む。3つ以上の異なる深度レベルを含む深度マップ情報はユーザに、深度特異的なフィルタを適用するためのフレームワークを提供し、ユーザに、カメラ(単数又は複数)(例えば602及び/又は603)の視野における、オブジェクトの深度位置決めについてのより正確なフィードバックを提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック910において、画像データと関連付けられた深度マップ情報は、画像データ(例えば806)の表現における、オブジェクトの情報特定深度輪郭を含む。
ブロック912において、ディスプレイ(例えば804)上で、画像データ(例えば806)の表現を表示している間、電子デバイス(例えば800)は任意選択的に、ブロック914~936の技術を実行する。ブロック914において、電子デバイス(例えば800)は、1つ以上の入力デバイスを介して、第1の入力(例えば818)(例えば、スワイプ、タップ及びホールド、タップ、ボタン押下;ジェスチャは、照明フィルタを表すアイコンの上部にあることができる、又は、フィルタを選択するために使用される別のユーザインタフェースシステムであることができる)を検出する。
いくつかの実施形態では、ブロック916において、第1の入力(例えば818)は、第1の基準(例えば、一連の照明効果適用基準)が満たされている間に受信する入力であり、ここで、第1の基準は、電子デバイス(例えば800)から所定の距離内にある視野にて対象が検出される要件を満たす(例えば、一連のその他の条件としては、第1のカメラ(例えば602又は603)の焦点距離が、最小距離閾値を超過すること、第1のカメラ(例えば602又は603)の焦点距離が最大距離閾値を超過しないこと、デバイスからの所定の最小距離を超えて、対象が検出されること、検出された光の量が最小光閾値を超過すること、検出された光の量が最大光閾値を超過しないことが挙げられる)。いくつかの実施形態では、第1の基準が満たされない場合、第1の照明効果又は第2の照明効果を適用することを取り止める。第1の入力(例えば818)が受信されたときに、所定の距離内に対象があることが判定されたときに照明効果を適用することによりユーザに、最適の(又は近似最適の)効果が、フィルタにより達成可能なように対象が適切に配置されているという視覚的フィードバックを提供する。同様に、対象が所定の距離の中にないときに、照明効果を適用しないことによって、ユーザには、対象が適切に配置されていないというフィードバックが提供され、修正処置が必要であることがユーザに示される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック918において、第1の入力(例えば818)は、第1の基準(例えば、一連の照明効果適用基準)が満たされていない間に受信される入力であり、ここで、第1の基準は、対象が電子デバイス(例えば800)から所定の距離内にある視野にて検出されるときに満たされる要件を含む(例えば、一連の他の条件/基準としては、第1のカメラ(例えば602又は603)の焦点距離が、最小距離閾値を超過すること、第1のカメラ(例えば602又は603)の焦点距離が最大距離閾値を超過しないこと、デバイスからの所定の最小距離を超えて、対象が検出されること、検出された光の量が最小光閾値を超過すること、検出された光の量が最大光閾値を超過しないことが挙げられる)。いくつかの実施形態では、第1の基準が満たされない場合、電子デバイス(例えば800)は、第1の照明効果又は第2の照明効果を適用することを取り止める。
いくつかの実施形態では、ブロック920において、第1の入力(例えば818)に応じて、電子デバイス(例えば800)は、ライブプレビューに第1の照明効果を適用することなく、ライブプレビューに(例えば、背景(例えば809)をぼやけさせる、又は背景の彩度を減らす)プレイスホルダフィルタを適用する。いくつかの実施形態では、第1の基準が満たされていることを検出することに応じて、電子デバイス(例えば800)は、プレイスホルダフィルタをライブプレビューに適用することを続けながら、第1の照明効果をライブプレビューに適用する(例えば、プレイスホルダフィルタは、深度マップ情報を考慮に入れない第1の照明効果の一部であり、それゆえ、第1の基準が満たされているか否かに関係なく表示される)。第1の基準が満たされているか否かに関係なくプレイスホルダフィルタを適用することによって、ユーザには、ビューファインダ(例えば810)コンテンツに関係する深度マップについての視覚的フィードバック、例えば、画像のどの部分が、前景(例えば808)と比較して、背景(例えば809)において深度マップの部分に対応しているか、を提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック922において、第1の照明効果をライブプレビューに適用することなくライブプレビューを表示した後で、電子デバイス(例えば800)は、第1の基準が満たされていることを検出する。第1の基準が満たされていることを検出したことに応じて、電子デバイス(例えば800)は、第1の照明効果をライブプレビューに適用する。第1の基準が満たされたときに照明効果を適用することによりユーザに、第1の基準が満たされている(例えば、対象が適切に配置されている)、そして、最適の(又は近似最適の)効果が、フィルタを用いて達成可能であるという視覚的フィードバックを提供する。同様に、第1の基準が満たされないときに照明効果を適用しないことによってユーザには、第1の基準が満たされないというフィードバックが提供され、ユーザに、修正処置が必要であることが示される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
ブロック924において、第1の入力(例えば818)を検出したことに従って、電子デバイス(例えば800)は画像データ(例えば806)の表現に、第1の照明効果(例えば自然光、スタジオ光、輪郭光、ステージ光、ステージ光MONO)を加え、ここで、第1の照明効果は深度マップ情報に基づいて(例えば、深度センサの測定に基づく、又は、異なる位置で同時に撮影された2つの画像の、マッピングの相違に基づく)。深度マップ情報に基づいて照明効果を表示することによってユーザに、深度マップ情報についての視覚的フィードバックが提供される。例えば、陰影を配置し(又は強調し)、取り除く(又は薄くする)ことによってユーザに、深度マップ情報に対応する、オブジェクトの特別な向きについてのフィードバックが提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック926において、第1の照明効果を適用することは、デジタルビューファインダ(例えば810)に表示される画像データ(例えば806)の表現に、プレイスホルダフィルタを適用すること(例えば、背景(例えば809)をぼやけさせる、又は背景の彩度を減らす)を含み、ここで、プレイスホルダフィルタは第1の照明効果に基づいて(例えば選択され)、第1の基準が満たされているか否かに関係なく適用される。プレイスホルダフィルタを適用することにより、照明フィルタへの、よりスムーズ/快適な遷移がなされる。第1の基準が満たされているか否かに関係なくプレイスホルダフィルタを適用することによって、ユーザには、ビューファインダ(例えば810)コンテンツに関係する深度マップについての視覚的フィードバック、例えば、画像のどの部分が、前景(例えば808)と比較して、背景(例えば809)において深度マップの部分に対応しているか、を提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック928において、第1の照明効果を適用することは、ビューファインダ(例えば810)に表示される画像データ(例えば806)の表現に、画像データと関連付けられた深度マップ情報に基づいて空間において、1つ以上の光点源のシミュレーションを適用することを含む。照明オプションは、自然光、スタジオ光、輪郭光、ステージ光、及びステージ光MONOを含む。照明効果のそれぞれは、画像データの深度マップに基づいて、空間内の光源のうちの1つ以上の点の結果をモデリングする(例えば模擬する)。自然照明オプションは、画像に合成照明を加えない(例えば、元の画像が表示されるか、又は元の画像の一部が表示され、ぼかしが、元の効果の異なる部分に適用され、ボケ効果を模擬する)。スタジオ照明効果は、対象の周りに配置された光源の、複数の異なる点のモデリングを含む(例えば、光効果の輝いたフィルを作成する)。輪郭照明効果は、対象の周りのより少ない点に配置された光源の複数の異なる点をモデリングし、対象の顔に陰影を作成することを含む(例えば、スリミング効果を作成する、対象の顔の側面、及び/又は対象の顎の上に陰影を作成する)。ステージ光照明効果は、対象の上に配置された、1つの異なる点光源のモデリングを含む(例えば、スポットライト効果を作成する)。ステージ光MONO照明効果は、対象の上の周りに配置された、1つの異なる点光源の、モノクロでのモデリングを含む(例えば、モノクロでスポットライト効果を作成する)。いくつかの実施形態では、照明フィルタは点光源を模擬する。いくつかの実施形態では、上で詳述したとおり、最初のときに(例えば、照明効果適用基準が満たされたときに、)照明効果は消える。いくつかの実施形態では、システムが顔を検出したとき、照明効果を適用するときに顔の特徴が考慮される。結果的に、対象の具体的な顔の特徴及び顔の形状に基づいて、照明効果が画像データ(例えば806)の表現の外観を変化させる。点光源のシミュレーションを適用することにより、ユーザに、深度マップ情報のコンテンツの視覚的表現を提供し、デバイスがユーザに、カメラ(単数又は複数)(例えば602及び/又は603)の視野におけるオブジェクトの形状及び深度位置決めについての視覚的フィードバックを提供することを可能にする。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。更に、実際の物理的なスタジオ光を必要とすることなく点光源のシミュレーションを適用することにより電子デバイスは、実際のスタジオ光及び背景が必要とされる場合よりも安価に、そして小型になり、デバイスのポータビリティが増加し、製造コストが低下する。
ブロック930において、電子デバイス(例えば800)は1つ以上の入力デバイスを介して、第2の入力(例えばスワイプ、タップ及びホールド、タップ;ボタン押下、ジェスチャは照明フィルタ(例えば814A)又はフィルタを選択するために使用される別のユーザインタフェースを表現するアイコンの上部にあることができる)を検出する。
ブロック932において、第2の入力を検出したことに従って、電子デバイス(例えば800)は、第1の照明効果とは異なる第2の照明効果(例えば自然光、スタジオ光、輪郭光、ステージ光、ステージ光MONO)を画像データ(例えば806)の表現に加え、ここで、第2の照明効果は深度マップ情報に基づいて(例えば、深度センサの測定に基づく、又は、異なる位置で同時に撮影された2つの画像の、マッピングの相違に基づく)。深度マップ情報に基づく第2の照明効果を表示することによりユーザに、深度マップ情報についての追加の視覚的フィードバックが提供される。例えば、第2の照明効果は、ユーザに、深度マップ情報に対応するオブジェクトの特別な向きについてのフィードバックを提供する、異なる位置、強度、又は種類(方向、周囲、点)における1つ以上の光源を含むことができる。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック934において、第2の照明効果を適用することは、デジタルビューファインダ(例えば810)に表示される画像データ(例えば806)の表現に、画像データと関連付けられた深度マップ情報に基づいて空間において、1つ以上の光点源のシミュレーションを適用することを含む。照明オプションは、自然光、スタジオ光、輪郭光、ステージ光、及びステージ光MONOを含む。照明効果のそれぞれは、画像データの深度マップに基づいて、空間内の光源のうちの1つ以上の点の結果をモデリングする(例えば模擬する)。自然照明オプションは、画像に合成照明を加えない(例えば、元の画像が表示されるか、又は元の画像の一部が表示され、ぼかしが、元の効果の異なる部分に適用され、ボケ効果を模擬する)。スタジオ照明効果は、対象の周りに配置された光源の、複数の異なる点のモデリングを含む(例えば、光効果の輝いたフィルを作成する)。輪郭照明効果は、対象の周りのより少ない点に配置された光源の複数の異なる点をモデリングし、対象の顔に陰影を作成することを含む(例えば、スリミング効果を作成する、対象の顔の側面、及び/又は対象の顎の上に陰影を作成する)。ステージ光照明効果は、対象の上に配置された、1つの異なる点光源のモデリングを含む(例えば、スポットライト効果を作成する)。ステージ光MONO照明効果は、対象の上の周りに配置された、1つの異なる点光源の、モノクロでのモデリングを含む(例えば、モノクロでスポットライト効果を作成する)。いくつかの実施形態では、照明フィルタは点光源を模擬する。いくつかの実施形態では、上で詳述したとおり、第1の基準が満たされたときに照明効果が消える。いくつかの実施形態では、システムが顔を検出したとき、照明効果を適用するときに顔の特徴が考慮される。結果的に、対象の具体的な顔の特徴及び顔の形状に基づいて、照明効果が画像データ(例えば806)の表現の外観を変化させる。点光源のシミュレーションを適用することにより、ユーザに、深度マップ情報のコンテンツの視覚的表現を提供し、デバイスがユーザに、カメラ(単数又は複数)(例えば602及び/又は603)の視野におけるオブジェクトの形状及び深度位置決めについての視覚的フィードバックを提供することを可能にする。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック936において、オブジェクトの輪郭の位置及び湾曲に基づいて、照明効果が画像データ(例えば806)の表現の外観を変化させる。深度マップ情報にオブジェクトの深度輪郭を含めることにより、デバイスがユーザに、カメラ(単数又は複数)(例えば602又は603)の視野におけるオブジェクトの形状及び深度位置決めについての、より正確な視覚的フィードバックを提供することが可能となる。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。更に、深度マップ情報にオブジェクトの深度輪郭を含めることにより、実際の物理的スタジオ光を必要とせずに光源のシミュレーションをプレビューして適用することが可能となって、実際のスタジオ光及び背景が必要とされる場合よりも電子デバイスが安価に、そして小型になるため、デバイスのポータビリティが増加し、製造コストが低下する。
いくつかの実施形態では、第1の照明効果(又は第2のフィルタ)が適用されている間、電子デバイス(例えば800)は、第1の基準が満たされていないことを判定し、第1の基準が満たされていない(例えば、電子デバイス(例えば800)から所定の距離内の視野にて、対象が検出されない)という判定に応じて、第1(又は第2)の照明効果を画像データ(例えば806)の表現に適用することを中止し(いくつかの実施形態では、フィルタの視覚的効果が低下するが、フィルタは適用されたままである)、ディスプレイ(例えば804)上に、第1の照明効果を適用することなく画像データの表現(例えば、フィルタのない、又は部分的なフィルタが適用された、未変更の画像)を表示し、ディスプレイ(例えば804)上に、満たされていない第1の基準(例えば、照明条件適用基準)のグラフィックインジケーション(例えば822)(例えば文字、アイコン、画像)を表示する。いくつかの実施形態では、条件が再び満たされると、フィルタが再び適用される。
いくつかの実施形態では、画像データの表現は以前にキャプチャした画像データである。(例えば、1つ以上のカメラ(例えば602及び/又は603)によりキャプチャされた画像データのライブプレビューではなく、メモリ/ストレージから取得した画像。)いくつかの実施形態では、深度マップ情報は記憶された画像について保存されるため、画像に加えた照明効果を、画像がキャプチャされた後で変化させる、及び/又は取り除くことができる。記憶した画像に対して深度マップ情報を保存することにより、画像がキャプチャされた後で照明を修正する能力がもたらされることにより、ユーザが所望の効果を得るために撮影しなければならない写真の枚数が減少し、それにより、目的の写真をキャプチャするために必要な入力数が減少し、写真を記憶するためのメモリ要件が低下し、ユーザインタフェースがより効率的となる。所望の画像をキャプチャするために必要な入力数を減少させ、メモリ要件を低下させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、画像データ(例えば806)の表現を表示する間に、電子デバイス(例えば800)はディスプレイ(例えば804)上に、画像データが深度マップ情報を含む(例えば、「縦長モード」バッジが任意選択的に表示され、深度マップ情報の利用可能性を示す)という視覚的インジケーション(例えば834)を表示する。
いくつかの実施形態では、第1の照明効果が適用されている間に、電子デバイス(例えば800)は、以前に加えた視覚的効果(例えばボケ、照明)の少なくとも1つの値を維持する。したがって、画像データの1つの表現において、照明効果とボケ効果を達成することが可能である。
いくつかの実施形態では、以前に加えられた視覚的効果はカラーフィルタである。
いくつかの実施形態では、第2の入力は、第1の照明効果が画像データ(例えば806)の表現に加えられている間に受信した入力であり、第2の照明効果を適用することは、第1の照明効果と第2の照明効果の適用とを徐々に遷移することを含む(いくつかの実施形態では、徐々に遷移することは、第1の時間に100%1番目、0%2番目、第2の時間に90%1番目、10%2番目、などを含む)。照明効果の間を徐々に遷移することにより、フィルタのオンオフ明滅により生み出されるユーザの注意散漫が低下し、これにより、ユーザを所望の写真を撮影することに集中させ、これにより、所望の写真をキャプチャするのに必要な入力数が減少し、写真の記憶のためのメモリ要件が低下する。所望の画像をキャプチャするために必要な入力数を減少させ、メモリ要件を低下させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
なお、方法900に関して上述したプロセス(例えば、図9A~図9D)の詳細はまた、以下及び上記で説明する方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法700、1100、1300、1500、1700は、上述した様々な方法の特性、及び方法900を参照した特性のうちの1つ以上を任意選択的に含む。例えば、様々な方法の中から、フィルタユーザインタフェース、アフォーダンス、及び制御の要素を組み合わせることができる。別の例として、方法900のビューファインダは、方法900、1100、1300、1500、1700のビューファインダと類似している。簡潔にするために、これらの詳細は、以下で繰り返さない。
いくつかの実施形態では、電子デバイス1000は、図6Aに示すデバイス600の構成要素の一部又は全てを含む。いくつかの実施形態では、デバイス1000は、(例えば、電子デバイス1000の裏面に)複数のカメラ602及び603を含む。いくつかの実施形態ではデバイス1000は、デバイス100、300、及び/又は500の1つ以上の特徴を含む。いくつかの実施例では、電子デバイス(例えば1000)は、固定されているが異なる焦点距離を有する複数のカメラ602及び603を有する。いくつかの実施例では、複数のカメラは、電子デバイス(例えば1000)の前面、背面、又は両側にある。いくつかの実施形態では、異なる固定焦点距離を有することに加えて、複数のカメラは、異なる固定視野及び異なる固定光学倍率特性を有する。いくつかの実施形態では、カメラ(例えば、602)は、複数の焦点距離を使用して画像データをキャプチャする。いくつかの実施形態では、カメラ(例えば602)が複数の焦点距離をキャプチャすることで、固定されているが異なる焦点距離を有する複数の(例えば2つ以上の)カメラと同じ結果が生み出される。いくつかの実施例では、電子デバイス(例えば1000)は、赤外線カメラ、自己温度計カメラ、又はこれらの組み合わせなどの深度カメラを含む。いくつかの実施例では、デバイスは、IRフラッド光、構造化光プロジェクタ、又はそれらの組み合わせなどの発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、可視光カメラ及び深度カメラ(例えば、IRカメラ)によって画像のキャプチャ中に対象を照らすために使用され、深度カメラ及び可視光カメラからの情報は、可視光カメラによってキャプチャされた対象の異なる部分の深度マップを判定するために使用される。いくつかの実施形態では、本明細書に記載する照明効果は、後ろ向きの画像に対する2つのカメラ(例えば、2つの可視光カメラ)からの不一致情報、及び前向きの画像(例えば、セルフィ画像)に対する可視光カメラからの画像データと組み合わせた深度カメラからの深度情報を使用して表示される。いくつかの実施形態では、2つの可視光カメラを使用して深度情報を判定するときと、深度カメラを使用して深度情報を判定するときに、同じユーザインタフェースが使用され、照明効果を生成するときに使用される情報を判定するために劇的に異なる技術を使用したときでも、一貫したエクスペリエンスをユーザに提供する。いくつかの実施形態では、フィルタのうちの1つが適用された状態でカメラユーザインタフェースを表示しながら、デバイスは、カメラ切り替えアフォーダンスの選択を検出し、前向きのカメラ(例えば、深度カメラ及び可視光カメラ)から後ろ向きのカメラ(例えば、互いから隔置された2つの可視光カメラ)へ切り替え(又は逆も同様である)、フィルタを適用するためのユーザインタフェース制御の表示を維持しながら、前向きのカメラの視野から後ろ向きのカメラの視野へ表示を置き換える(又は逆も同様である)。
図10Aに示すように、電子デバイス1000は、タッチ感知性であるディスプレイ1004(例えばタッチスクリーン)を含み、ディスプレイは、カメラ(例えば602)から受信する情報を表示する。いくつかの実施形態において、ディスプレイはタッチ感知面とは異なる。いくつかの実施例では、カメラ(例えば602)は電子デバイス(例えば1000)の前面、背面、又は両側に配置される。
図10Aに示すように、電子デバイス1000はディスプレイ1004上に、カメラ(例えば602)により画像をキャプチャするためのカメラアプリケーションユーザインタフェースを表示する。カメラアプリケーションユーザインタフェースは、カメラ(例えば602)の視野のライブプレビューを含む、画像データ(例えば1006)の表現を更に含む。図10Aの実施形態を含むいくつかの実施形態では、カメラの視野はリアルタイムで、画像データと関連付けられた深度情報をキャプチャする。図10Aは、前景領域(例えば1008)に対象(例えば女性)、及び背景領域(例えば1010)に、対象を囲む木がある対象(例えば女性)を含む、視野の深度レベルをキャプチャするカメラを更に示す。いくつかの実施形態では、画像データ1006の表現は、背景領域(例えば1008及び1006)、並びに前景領域からなる。図10Aに見られるように、画像データが深度マップ情報を含むため、電子デバイス1000は、(対象及び木の表現により例示される)疑似的深度効果を、任意の他のフィルタが適用される前に、画像データ(例えば1006)の表現の表現に、シミュレートされた深度効果(例えばbokeh)を適用する。
更に、図10Aにおいて、電子デバイス1000は、画像データ1006の表現の下にフィルタ選択インタフェース1012を表示する。いくつかの実施形態では、フィルタ選択インタフェースは画像データの表現に重なり合う。いくつかの実施形態では、フィルタ選択インタフェース1012は画像データ1006の表現の縁部に沿って配置される。いくつかの実施例では、フィルタ選択インタフェースは電子デバイス1000により、画像データ(例えば1006)の表現の上、下(図10Aに見られるように)、左側、又は右側に表示される。図10Aに見られるように、フィルタ選択インタフェース(例えば1012)は、行及び列のうちの任意の1つ以上に配置された、又は円形状の向きに配置された、フィルタの1つ以上の表現(例えば1014A~1014C)(例えば視覚的効果)を含む。
いくつかの実施例では、フィルタ選択インタフェースは輪郭(例えば境界)により描かれ、画像データの表現からフィルタ選択インタフェースを区別する。いくつかの実施形態では、フィルタ選択インタフェース(例えば1012)は、透光、半透光、透明、又は半透明であり、目に見える境界を有しないように表示される。結果的に、いくつかの実施例では、フィルタ選択インタフェース(例えば1012)はディスプレイ1004上で、画像データ(例えば1006)の表現と混ざっている(例えば区別できない)ように見える。
図10Aに示すように、フィルタ選択インタフェース1012は、視覚的効果に対応するディスプレイ1004に表示された、1つ以上のフィルタ表現(例えば1014A、1014B、1014C、1014D)を含む。いくつかの実施例では、フィルタ選択インタフェース(例えば1012)は任意選択的に、表示されないフィルタ表現を含む(例えば、これらは画面の外にある)。表示されないフィルタ表現は、入力(例えばスワイプジェスチャ)時に任意選択的に表示される表現をフィルタし、これにより、フィルタ表現において、フィルタ選択インタフェース(例えば1012)のフィルタ選択位置を通してのスクロールがもたらされる。
図10Bに示すように、電子デバイス1000は、フィルタ選択インタフェース1012内のフィルタ表現のうちの1つの位置に対応する入力(例えばタップ1016)を受信する。図10Bにおいて、タップ入力の位置に対応するフィルタは「ビビッドウォーム」である。入力を受信したことに応じて、図10に示すように、電子デバイス1000は、対応するフィルタ(例えば「ビビッドウォーム」)を画像データ(例えば1006)の表現に適用する。
図10Cに示すように、深度マップ情報を使用して、電子デバイス1000は選択されたフィルタ(例えば1014C)を、前景領域(例えば1008)ではなく背景領域(例えば1010)に異なって適用する。前景領域1008(前面の女性を含む)は、背景領域1010(例えば女性と木)とは異なるフィルタ値を使用して修正される。図10Cに見られるように、電子デバイス1000は、前景領域よりも暖かい(より黒く描かれる)陰影を使用して、背景領域を表示する。
図10Cに更に示すように、選択されたフィルタ(例えば「ビビッドウォーム」)は、色調保護アルゴリズムを含む。電子デバイス1000は、画像と関連付けられた深度マップ情報を使用して、フィルタが適用されたときに所定の色(又は所定の色調の範囲)からの偏差を最小限にする。例えば、色調保護アルゴリズムのない前景領域(1008)における、対象の皮膚の色調は潜在的に、ビビッドウォームフィルタの適用後、元の色調から徹底的に偏する。望ましくない色調偏差を処理するために、電子デバイス1000はフィルタを画像表現に適用するが、変化は所定の色調(又は所定の色調の範囲)に限定される。したがって、いくつかの実施例では、皮膚の色調に対応する色調は、特定の所定の範囲内にとどまる場合がある。対照的に、皮膚と関連付けられない色調(例えば青又は緑)は、選択されたフィルタにより、より大幅に修正されることができる。
図10Cは、色調保護アルゴリズムが、背景領域及び前景領域の両方にある色調に対して、アルゴリズムを異なって適用することを更に示す。例えば、背景領域(例えば1010)の対象は、前景の対象と同様の皮膚の色調を有するように見え、任意の色補正を加えずに「ビビッドウォーム」フィルタを適用することにより潜在的に、元の皮膚の色調から徹底的に偏する(画像の外観が現実的ではなくなる)。色調の偏差を補正するために、電子デバイス1000はフィルタを画像表現に適用するが、変化は所定の色調に限定される。したがって、いくつかの実施例では、皮膚の色調に対応する色調は、特定の所定の範囲内にとどまる場合がある。しかし、背景における色調保護の許容される範囲は、前景における色保護の許容される範囲とは異なる(例えば、焦点ではないため、背景における階調には、色調保護が少ない、又は存在しない)。したがって、図10Cに示すように、背景領域1010における対象の皮膚の階調は、前景領域1008における対象の皮膚の階調よりも暖かい階調に変化する。
図10Dに示すように、電子デバイスは、位置1020においてタップ1018を検出し、これはフォトビューワアプリケーションに対応する。タップ1018を受信したことに応じて、電子デバイスは、図10Eに示すように、画像ビューモードに切り替わる。
図10Eは、フォトビューワアプリケーション用に表示されるユーザインタフェースを示す。フォトビューワアプリケーションは、1020Dが最後にキャプチャされた、以前にキャプチャした画像(例えば1020A~1020D)の表現のサムストリップを含む。最後にキャプチャした画像(1020D)に対応する画像データ(例えば1006)の表現が、ディスプレイ1004上に表示される。いくつかの実施例では、以前にキャプチャした画像を、電子デバイス(例えば1000)に対応するカメラを使用してキャプチャした。いくつかの実施例では、電子デバイスは、リモートソース(例えばサーバ)から、以前にキャプチャした画像(例えば1020A~1020D)を受信する。いくつかの実施例では、以前にキャプチャした画像は、異なる電子デバイス(例えば1000ではない)によりキャプチャされる。図10Eは、最後にキャプチャした画像が、関連付けられたあらゆる深度マップ情報を有しない(例えば、深度マップを表す視覚インジケータが存在しない、目に見えるボケ効果が存在しない)ことを更に示す。
図10Fに示すように、電子デバイスは位置1024にてタップ1022を検出し、これはフォトビューワ編集モード(例えば1024)に対応する。タップ1022を受信したことに応じて、電子デバイスは、図10Gに示すように、画像ビューモードに切り替わる。
図10Gは、図10Aに関して上述したように、フィルタ選択インタフェース1012が画像データ1006の表現の下に表示されることを示す。いくつかの実施例では、フィルタ選択インタフェース(例えば1012)は、1つ以上の行及び列に配置された、又は円形状の向きに配置された、フィルタ表現のうちの任意の1つ以上(例えば1014A~1014C)(例えば視覚的効果)を含む。
図10Hに示すように、デバイス1000は、タップ1026、「ビビッドウォーム」フィルタ表現1014Cの位置を検出する。タップ1026を受信したことに応じて、電子デバイスはビビッドウォームフィルタを適用し、これは、フィルタ表現1014Cを画像表現に対応させ、図10Iに結果を表示する。
図10Iに示すように、画像データが、関連付けられた深度情報を有しないため、電子デバイスは「ビビッドウォームフィルタ」を、背景領域1010及び前景領域1008に均一に適用する。更に、画像データが、画像と関連付けられた深度情報を有しない場合でも、色調保護アルゴリズムは依然として、画像の中にある色調に対してアルゴリズムを適用する(例えば、画像全体に対して色調保護アルゴリズムを不均一に適用する)。例えば、電子デバイス1000は色保護アルゴリズムを、同じ値を使用して、対象の皮膚色調の両方(例えば前景及び背景)に適用する。したがって、図10Cに示すように、電子デバイスがフィルタを、画像データの再配向に適用した後、いくつかの実施形態において、対象の(例えば前景及び背景の)皮膚の色調が同じフィルタ値を使用して表示され、このフィルタ値は、画像の残りに適用されるとフィルタ値とは異なる。
図10Jに示すように、電子デバイス1000は、画像データ1006の表現に重なり合った、色ホイールインジケータアフォーダンス1028を表示する。
図10Kに示すように、デバイス1000は、色ホイールインジケータアフォーダンス1028の位置において、タップ1030を検出する。タップ1030を検出したことに応じて、図10Lに示すように、電子デバイスは、画像データの表現の上に拡張した色ホイールを表示する。色ホイールによりユーザは、スワイプによりホイールを回転させ、ホイール内に表現される色のいずれかをタップすることができ、これにより、選択されたカラーフィルタを画像データの表現に適用する。
図10Mに示すように、デバイス1000は、色ホイール内の色の表現に対応する位置において、タップ1034を検出する。タップ1032を受信したことに応じて、電子デバイス1000は、図10Nに示すように、選択されたカラーフィルタを画像データ1006の表現に適用する。図10Nに示すように、視覚インジケータ1034は、選択されたカラーフィルタの上に表示され、現在選択されているフィルタを示す。
図11A~図11Cは、いくつかの実施形態に係る電子デバイスを使用して、疑似的視覚的効果を画像データの表現に適用するための方法を示すフローチャートである。方法1100は、1つ以上の入力デバイス(例えばタッチ感知面、マウス、キーボード)、及びディスプレイ(例えば1004)を有するデバイス(例えば100、300、500、1000)にて実施される(いくつかの実施形態では、デバイスは1つのカメラを有する。いくつかの実施形態では、デバイスは複数のカメラを有し、それぞれのカメラは異なる焦点距離を有する)。方法1100のいくつかの操作は任意選択的に組み合わされ、いくつかの操作の順序は任意選択的に変更され、いくつかの操作は任意選択的に省略される。
後述のように、方法1100は、疑似的視覚的効果を画像データの表現に適用するための直観的方法を提供する。この方法は、機能に対応する入力を提供するユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが様々な機能をより高速かつより効率的に開始することを可能にすることにより、電力が節約され、バッテリ充電の間隔が増す。
いくつかの実施形態では、ブロック1102において、電子デバイス(例えば1000)はディスプレイ(例えば1104)上に、画像データ(例えば1006)の表現(例えば、デバイスのディスプレイ(例えば1104)に表示される画像又は写真)、及びフィルタ選択インタフェース(例えば1012)を同時に表示する。
ブロック1104において、電子デバイス(例えば1000)は、1つ以上の入力デバイスを介して、第1の外観を有する画像データ(例えば1006)の表現の第1の画像フィルタ(例えば1014C)(例えば、第1の画像フィルタ(例えば1014C)(例えば照明フィルタ、ビビッド、ビビッドウォーム、ビビッドクール、ドラマチック、ドラマチックウォーム、ドラマチッククール、モノ、シルバーストーン、ノワール)に対応する(例えばその上、付近の)位置における、スワイプ、タップ及びホールド、タップ、ボタン押下)の選択に対応する第1の入力(例えば1016)を検出する。
いくつかの実施形態では、ブロック1106において、電子デバイス(例えば1000)は、1つ以上のカメラ(例えば602及び/又は603)を更に含み、画像データ(例えば1006)の表現は、1つ以上のカメラの視野の中でキャプチャされた、画像データのライブプレビューである。いくつかの実施形態では、デバイスは、様々な焦点距離を有する複数のカメラを含む。いくつかの実施形態では、画像データ及び深度情報は、電子デバイス(例えば1000)において1つ以上のカメラによりキャプチャされる。いくつかの実施形態では、デバイスは、様々な焦点距離を有する複数のカメラを含む。
いくつかの実施形態では、ブロック1108において、第1の入力は、フィルタ選択ユーザインタフェース(例えば1012)を表示している間に検出される。
いくつかの実施形態では、ブロック1110において、フィルタ選択ユーザインタフェース(例えば1012)は、第1の画像フィルタ(例えば1014C)の表現を含む、複数のフィルタ表現(例えば1014A~1014D)を含み、ここで第1の入力は、第1の画像フィルタ(例えば1014C)の表現の選択に対応する。第1のフィルタは、ディスプレイ(例えば1004)の縁部に沿った行に配置される、一連の1つ以上のフィルタ表現の一部として表示される。いくつかの実施形態では、一連の1つ以上のフィルタ表現(例えば1014A~1014D)は、ディスプレイ(例えば1004)の縁部と直接接している。いくつかの実施形態では、フィルタ表現(例えば1014A~1014D)は、ディスプレイ(例えば1004)の縁部に近接してはいるが、隣接はしていない。いくつかの実施形態では、行はディスプレイ(例えば1004)の短い縁部に沿って配置される。いくつかの実施形態では、行はディスプレイ(例えば1004)の長い縁部に沿って配置される。複数のフィルタ表現を表示することにより、ユーザには、選択可能な異なるフィルタが、画像データ(例えば1006)の表現に適用するのに利用可能であり、任意選択的に、異なるフィルタが、画像データ(例えば1006)の表現に対応する深度マップ情報を可視化するための異なった技術を提供する、という視覚的フィードバックが提供され、これにより、ユーザに、画像データ(例えば1006)の表現におけるオブジェクトの形状及び位置決めについての、追加情報が提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
ブロック1112において、第1の入力を検出したことに応じて、電子デバイス(例えば1000)は第1の画像フィルタ(例えば1014C)を、任意選択的にブロック1114~1126の技術を含む画像データ(例えば1006)の表現に適用する。
ブロック1114において、画像データが、画像データ(例えば1006)の表現の前景領域(例えば1008)を、画像データ(例えば1006)の表現(例えば深度マップ)の背景領域(例えば1010)と区別可能にする深度情報と関連づけられたという判定に従って、ブロック1116~1120の技術が、任意選択的に実施される。いくつかの実施形態では、深度情報は画像ファイルの個別トラックとして記憶される。いくつかの実施形態では、深度情報は、異なる焦点距離を有する少なくとも2つのカメラから受信される画像データを使用して、計算される。
ブロック1116において、電子デバイス(例えば1000)は、第1の画像フィルタ(例えば1014C)を画像データ(例えば1006)の表現の前景領域に、第1レベルの調整にて適用して画像データ(例えば1006)の表現の前景領域(例えば1008)の外観を変化させ、ここで、第1レベルの調整は、第1の画像フィルタ(例えば1014C)が画像データ(例えば1006)の表現の外観を変化させる第1の程度を示す。いくつかの実施形態では、フィルタは、色の暖かさ、彩度減少、色の傾斜、光の強度、コントラスト、色相シフト、輝度のうちの任意の1つ以上を変化させる。
いくつかの実施形態では、ブロック1118において、第1の画像フィルタ(例えば1014C)を前景領域(例えば1008)に適用することは、前景領域(例えば1008)に対応する画像データが、第1の色の値(例えば色相値、階調値、皮膚の階調と関連付けられた1つ以上の色)を含み、背景に対応する画像データが、第1の色の値を含むという判定に従って、第1レベルの色値調整を使用して、背景領域(例えば1010)の第1の色の値をシフトさせる(例えば変化させる、修正する、置き換える)こと、及び、第1レベルの色値調整とは異なる、第2レベルの色値調整を使用して、前景領域(例えば1008)の第1の色の値をシフトさせる(例えば変化させる、修正する、置き換える)ことを更に含む。いくつかの実施形態では、背景における皮膚の色は、前景における皮膚の色とは異なって着色される。いくつかの実施例では、皮膚の階調色を修正して、皮膚の色の外観を劇的に変化させないようにする。いくつかの実施例では、皮膚の階調は全く修正されない。いくつかの実施形態では、背景の領域が、皮膚の階調に対応する色調を有する場合であっても、フィルタを背景に均一に適用する。フィルタを異なって適用することは、前景又は背景から、フィルタの制約条件を除去すること(例えば、背景における皮膚保護の要件を取り除くこと)を含む。前景にあるか背景にあるかに基づいて、異なるレベルの色調整を、類似(又は同一)の色のオブジェクトに適用することにより、ユーザには、特定のオブジェクトが前景にあり、異なるオブジェクトが背景にあることを示すなどの、画像データに対応する深度情報についての視覚的フィードバックが提供され、ユーザには、背景にある類似のオブジェクトから、前景のオブジェクトを区別するための視覚的フィードバックが提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
ブロック1120において、電子デバイス(例えば1000)は第1の画像フィルタ(例えば1014C)を、第2レベルの調整にて画像データ(例えば1006)の表現の背景領域(例えば1010)に適用し、画像データ(例えば1006)の表現の背景領域(例えば1010)の外観を変化させる。第2レベルの調整は、第1の画像フィルタ(例えば1014C)が画像データの表現(例えば1006)の外観を変化させる第2の程度を示し、第1レベルの調整と第2レベルの調整は異なる。
ブロック1122にて、第1の画像フィルタ(例えば1014C)を画像データ(例えば1006)の表現に適用した後、電子デバイス(例えば1000)はディスプレイ(例えば1004)上に、第1のフィルタが画像データ(例えば1006)の表現に適用されたそれぞれの画像の表現を表示する。いくつかの実施形態では、結果はディスプレイ(例えば1004)上に表示される。いくつかの実施形態では、電子デバイス(例えば1000)は、要求を受信したことに応じて結果を表示し、第1の画像フィルタ(例えば1014C)をそれぞれの画像に適用する。画像フィルタを前景及び背景に、異なるレベルの調整にて適用し、アップデートされた画像データ(例えば1006)の表現を表示することによりユーザに、深度情報に関する、特に、どのオブジェクトが前景として特定され、どのオブジェクトが背景として特定されたかに関する視覚的フィードバックが提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。更に、画像フィルタを、異なるレベルの調整で前景及び背景に適用し、アップデートされた画像データ(例えば1006)の表現を表示することにより、電子デバイスが自動的にフィルタを適用し、別様においてユーザが、フィルタの適用後に手動で補正する必要がある、ビューファインダ内の対象の皮膚の階調をゆがめることなく、より劇的な効果を作成することが可能となる。フィルタを画像の関係する部分に適用し、更なるユーザの入力無しに、対象の皮膚の階調をゆがめることを自動的に回避することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そしてユーザの入力数を減少させることにより)、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、ブロック1124において、第1の画像フィルタ(例えば1014C)を画像データ(例えば1006)の表現に適用することは、画像データが第3の色の値(例えば色相値、階調値、皮膚の階調と関連付けられた1つ以上色)を含むという判定に従って、第3レベルの色値調整(例えば、皮膚の階調保護のための特定の色)を使用して、第3の色の値をシフトさせる(例えば変化させる、修正する、置き換える)ことを更に含む。いくつかの実施例では、皮膚の色は、画像の残りの部分とは異なった色で着色されている。いくつかの実施例では、皮膚の階調色を修正して、皮膚の色の外観を劇的に変化させないようにする。いくつかの実施例では、皮膚の階調は全く修正されない。いくつかの実施例では、異なるフィルタを適用することは、画像から、フィルタ上の制約条件を除去すること(例えば、背景での皮膚保護要件を取り除くこと)を含む。例えば、深度情報が利用できない場合に、画像の色を、画像の前景のみではなく画像全体に調整するときに、デバイスは任意選択的に、皮膚保護アルゴリズムを適用する。そのために、皮膚保護アルゴリズムにより保護される皮膚の階調に近い画像の背景における、いくつかの特徴において、色はシフトしない。異なる(例えば、第3レベルの色調整)技術を使用して、画像データの一部の色をシフトさせることにより、ユーザには、背景とは異なる皮膚の階調の色をシフトさせて、特定の皮膚の階調を有する人々が、他のオブジェクトと比較して一層容易に区別可能とすることなどにより、画像のどの部分が特定の色に対応しない(又は代替的には、対応する)のかについての視覚的フィードバックが提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。更に、異なる(例えば、第3レベルの色調整)技術を使用して、画像データの一部の色をシフトさせることにより、依然として、深度情報が利用可能であるか否かに関わらず、対象の皮膚の階調をゆがめることを避けながら、深度情報が利用可能なときに、フィルタ用のより劇的な効果が可能となり、これにより、ユーザが手動で、皮膚の階調を後で補正する必要性が回避される。フィルタを画像の関係する部分に適用し、更なるユーザの入力無しに、対象の皮膚の階調をゆがめることを自動的に回避することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そしてユーザの入力数を減少させることにより)、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、ブロック1126において、第1の入力を検出し、画像データが深度情報と関連付けられていないという判定に従って、第1の画像フィルタ(例えば1014C)を画像データ(例えば1006)の表現に適用したことに応じて、電子デバイス(例えば1000)は第1の画像フィルタ(例えば1014C)を画像データ(例えば1006)の表現に、第1レベルの調整にて均一に適用する(例えば、それにより画像データ(例えば1006)の表現の前景領域(例えば1008)、及び画像データ(例えば1006)の表現の背景領域(例えば1010)の外観を均一に変化させる)。画像フィルタを画像データ(例えば1006)の表現に均一に適用することによりユーザに、デバイスの状態について、そして特に、深度情報が画像データに対しては利用できないという視覚的フィードバックが提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。更に、画像フィルタを画像データ(例えば1006)の表現に均一に適用することにより、依然として、深度情報が利用可能であるか否かに関わらず、対象の皮膚の階調をゆがめることを避けながら、深度情報が利用可能なときに、フィルタ用のより劇的な効果が可能となり、これにより、ユーザが手動で、皮膚の階調を後で補正する必要性が回避される。フィルタを画像の関係する部分に適用し、更なるユーザの入力無しに、対象の皮膚の階調をゆがめることを自動的に回避することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そしてユーザの入力数を減少させることにより)、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第1の入力を検出する前に、電子デバイス(例えば1000)は電子デバイス(例えば1000)において、画像データ(例えば1006)の表現により表現された画像データを(例えばカメラから、メモリから、サーバから)受信する。いくつかの実施形態では画像データはRGB、及び深度マップ値を含む。いくつかの実施形態では、画像データ及び深度情報は、電子デバイス(例えば1000)の外側にあるソースから受信される(例えば、データはサーバから受信される)。
いくつかの実施形態では、第1の画像フィルタ(例えば1014C)が適用されるときに、電子デバイス(例えば1000)は、以前に加えられた視覚的効果(例えばボケ、照明)の少なくとも1つの値を維持する。したがって、画像データ(例えば1006)の1つの表現において、光硬化及びボケ効果を達成することが可能である。第1の画像フィルタ(例えば1014C)が適用されている間に、以前に適用された視覚的効果(例えばボケ、照明)の少なくとも1つの値を維持することにより、嵩高いレンズ及び装置により、ボケ効果を生成する必要性が取り除かれる。
いくつかの実施形態では、電子デバイス(例えば1000)はディスプレイ(例えば1004)上に、カメラアプリケーションユーザインタフェースを表示し、ここでカメラアプリケーションユーザインタフェースは、デジタルビューファインダで重なり合った第1の位置において、1つ以上のカメラの視野のライブプレビュー、及び色ホイールユーザインタフェース(例えば1028)の表現(例えばアイコン、アフォーダンス、ボタン)を含む(ライブプレビュー又はほぼライブのプレビュー画像を含む)デジタルビューファインダ(例えば、画像、アイコン、フィルタを示す文字表現)を含む。いくつかの実施形態では、色ホイールインタフェースの表現は、ユーザの入力(例えば、色ホイールアフォーダンスでのタップ、又は色ホイールアフォーダンスにて検出されるタッチアンドホールドジェスチャ)に応じて表示される。
いくつかの実施形態では、色ホイールユーザインタフェースの表現に対応する第2のユーザ入力(例えば1030)を検出したことに応じて、電子デバイス(例えば1000)は、色ホイールユーザインタフェース(例えば1030)の表現の表示(例えば1004)を中止し、ディスプレイ(例えば1004)上に、複数のカラーフィルタの表現を表示する色ホイールユーザインタフェース(例えば1031)を表示する。いくつかの実施形態では、色ホイールは円弧、ホイール、部分的/完全な楕円形又は円形として表示される。
いくつかの実施形態では、色ホイールユーザインタフェース内で表示されるカラーフィルタの表現の少なくとも1つに対応する領域に対応する、第3のユーザ入力を検出したことに応じて、電子デバイス(例えば1000)は、対応するカラーフィルタを画像データに適用して、画像データ(例えば1006)の表現(背景、前景、又は背景と前景の両方)の色の外観を修正する。
例えば、方法700、900、1300、1500、1700は、方法1100に関して上述した様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、様々な方法の中から、フィルタユーザインタフェース、アフォーダンス、及び制御の要素を組み合わせることができる。別の例としては、方法1100におけるビューファインダは、方法700、900、1300、1500、1700におけるビューファインダに類似している。簡潔にするために、これらの詳細は、以下で繰り返さない。
図12Aに示すように、いくつかの実施形態において、電子デバイス1200は、タッチ感知性であるディスプレイ1204(例えばタッチスクリーン)を含み、ディスプレイは、カメラ(例えば1202)から受信する情報を表示する。いくつかの実施形態ではデバイス1200は、デバイス100、300、及び/又は500の1つ以上の特徴を含む。いくつかの実施形態において、ディスプレイはタッチ感知面とは異なる。いくつかの実施例では、カメラ(例えば1202)は、電子デバイス(例えば1200)の前面、背面、又は両側に配置される。いくつかの実施形態では、電子デバイス1200は、図6Aに示すデバイス600の構成要素の一部又は全てを含む。いくつかの実施形態では、デバイス1200は、(例えば、電子デバイス1200の裏面に)複数のカメラ602及び603を含む。
いくつかの実施例では、電子デバイス(例えば、1200)は、固定されているが異なる焦点距離を有する複数のカメラを有する。いくつかの実施例では、複数のカメラは、電子デバイス(例えば1200)の前面、背面、又は両側にある。いくつかの実施形態では、異なる固定焦点距離を有することに加えて、複数のカメラは、異なる固定視野及び異なる固定光学倍率特性を有する。いくつかの実施形態では、カメラ(例えば、1202)は、複数の焦点距離を使用して画像データをキャプチャする。いくつかの実施形態では、カメラ(例えば、1202)は、1回の時間で複数の焦点距離をキャプチャすることで、固定されてはいるが異なる焦点距離を有する2つ以上のカメラと同じ結果が生み出される。
図12Aは、カメラ(例えば、1202)により画像をキャプチャするためのカメラアプリケーションユーザインタフェースを表示する、電子デバイス1200を更に示す。カメラアプリケーションユーザインタフェースは、カメラの視野のライブプレビューを含む画像データ1210の表現を更に含む。いくつかの実施形態では、カメラの視野はリアルタイムで、画像データと関連付けられた深度情報をキャプチャする。図12Aは、電子デバイスが「ドラマチック」フィルタを画像データの表現に適用したことを更に示す。
図12Aは、電子デバイス1200が、画像(例えば1210)の表現の下に、フィルタ選択インタフェース1206を表示することを更に示す。いくつかの実施形態では、フィルタ選択インタフェース(例えば1206)は、画像データ(例えば1210)の表現と重なり合う。いくつかの実施形態では、フィルタ選択インタフェース(例えば1206)は、画像データ(例えば1210)の表現の縁部に沿って表示される。いくつかの実施例では、フィルタ選択インタフェースは、画像データ(例えば1210)の表現の上、下(図12Aに示すように)、左側、又は右側に表示される。いくつかの実施例では、フィルタ選択インタフェース(例えば1206)は、行及び列のうちの任意の1つ以上に配置された、又は円形状の向きに配置された、フィルタの1つ以上の表現(例えば、1208A~1208G)(例えば視覚的効果)を含む。
図12Aに示すように、フィルタ選択インタフェース(例えば1206)が表示され、輪郭(例えば境界)によって描かれ、画像データ(例えば1210)の表現からフィルタ選択インタフェース(例えば1206)を区別する。いくつかの実施形態では、フィルタ選択インタフェース(例えば1206)は、透光、半透光、透明、又は半透明であるように表示され、いくつかの実施形態では、目に見える境界を有しない。結果として、いくつかの実施例では、フィルタ選択インタフェース(例えば1206)は、デジタルビューファインダと混ざっている(例えば、区別がつかない)ように見える。
図12Aに示すように、電子デバイス1202はフィルタ選択インタフェース1206を表示し、これは、視覚的効果に対応するフィルタ表現1208A~1208Gを含む。いくつかの実施例では、フィルタ選択インタフェース(例えば1206)は任意選択的に、ディスプレイに表示されていないフィルタ表現を含む(例えば、これらは画面の外にある)。いくつかの実施形態では、ディスプレイに表示されていないフィルタ表現は、電子デバイスが入力(例えばスワイプジェスチャ)を検出したときに表示され、これにより、フィルタ表現が、フィルタ選択インタフェース(例えば1006)のフィルタ選択位置(例えば1212)を通してのスクロールがもたらされる。
図12Aに更に示すように、電子デバイスは、フィルタ表現1208A~1208Gをアイコン(例えばサムネイル)として表示し、これらは画像データ1210の表現をアイコン(例えばより小さな)形態で描写する。例えば、ディスプレイの主要部に表示される画像データ(例えば1210)の表現は、フィルタ表現のそれぞれの中に描写される。更に、いくつかの実施形態では、フィルタ表現は、電子デバイス1200により、それぞれの対応するサムネイル画像に適用されるそれぞれの対応するフィルタ表現と関連付けられたフィルタを含む。したがって、ユーザは、それぞれのフィルタをアクティブにする前に、それぞれのサムネイル画像のおけるそれぞれのフィルタの効果をプレビューすることができる。いくつかの実施形態では、フィルタ選択位置(例えば1212)内のフィルタ表現と関連付けられた、フィルタの名前(例えば、図10Aにおけるドラマチック)が、フィルタ選択インタフェース(例えば1212)の上に表示される。いくつかの実施形態では、フィルタ表現と関連付けられたフィルタの名前が、イメージの表現と重なり合うフィルタ表現(例えば1208A~1208G)の中に表示される。いくつかの実施形態では、フィルタ表現(例えば1208A~1208G)と関連付けられたアイコンは、画像の表現のない、フィルタ表現内でそれぞれのフィルタ表現と関連付けられたフィルタの、それぞれの名前を含む。
図12Aに更に示すように、複数のフィルタ表現のうちの少なくとも1つ(例えば1208B)の上の電子デバイス1200により、フィルタマーカ1214(例えば視覚インジケータ)が表示され、最も最近のフィルタを指定する。いくつかの実施形態では、最も最近のフィルタは、現在選択されているモード(例えばキャプチャモード、又はキャプチャ後編集モード)において最後に使用したフィルタに基づいて、電子デバイス1200により事前に選択された少なくとも1つのフィルタである。いくつかの実施例では、最も最近使用されたフィルタは、特定のモード(例えばキャプチャ又は編集)に関係なく、最後に使用したフィルタに基づいて、電子デバイス1200により予め決められたフィルタである。いくつかの実施形態では、視覚インジケータは、ユーザにより最も頻繁に使用された(例えば所定の時間周期で使用された時間の数)フィルタと関連付けられて表示することができる。いくつかの実施形態では、視覚インジケータは、ユーザが指定したフィルタ(例えばお気に入りフィルタ)と関連付けられて表示される。いくつかの実施例では、複数のフィルタがお気に入りフィルタとして指定され、複数の視覚インジケータが、それぞれのフィルタ表現の上に表示される。いくつかの実施例では、視覚インジケータは電子デバイスにより、フィルタ表現の上、下、周囲、又は中に表示される。いくつかの実施形態では、ライブプレビューに関して、フィルタ表現は、対応するフィルタがライブプレビューに適用された、カメラの視野の縮尺ライブプレビューを含む。いくつかの実施形態では、以前にキャプチャされた画像に関して、フィルタ表現は、対応するフィルタが画像に適用された、画像の縮尺コピーを含む。いくつかの実施形態では、視覚インジケータは画像、文字、又はアフォーダンスである。いくつかの実施例では、複数の視覚インジケータは、所定の基準に基づいて、色及び/又は形状が異なる。
図12Aは、デバイス1200により検出された、接触(例えばタッチ入力)特性強度の表現1216を更に示す。表現1216は、初期強度閾値IT0、中間強度閾値IT1、及び高強度閾値IT2に対応するインジケータを含む。以下に記載するとおり、いくつかの実施形態において、フィルタ選択インタフェースにおけるフィルタの表現の量は、入力強度に応じて変化する。
図12Bは、フィルタ表現1208Cに対応する位置において、押圧入力1218を検出する電子デバイスを示す。図12Bに示すように、押圧入力1218は、初期強度閾値IT0より大きい特性強度を有する。
図12C~図12Fは、電子デバイスが、フィルタ表現(例えば1208A~1208G)の1つにおいて十分な特性強度を有する入力を検出したときの、フィルタ表現のいくつかの折りたたみ効果(例えば圧縮効果)を示す。折りたたみ効果の結果、フィルタ選択インタフェース1206は、折りたたみ効果の前よりも少ないフィルタ表現を用いて表示される。フィルタ選択インタフェースにおいてフィルタ表現が少ないことにより、ユーザはより素早く、フィルタ表現をトラバースすることが可能にすることができる。いくつかの実施例では、折りたたみ効果は、タップ及びホールド入力(例えば、所定の時間を超過する入力)を受信する電子デバイス1200に応じて生じる。
図12Cに示すように、デバイス1200は、フィルタ表現1208Cに対応する位置において、入力1218の検出を続ける。更に、図12Cは、入力の特性強度が、中間強度閾値IT1を過ぎて上昇したことを示す。入力は、IT1より大きい十分な特性強度を有すると解釈されるため、フィルタの表現のいくつか(例えば1208C、1208E、1208F、1208G)は、フィルタ選択位置(例えば1212)に向かって折りたたまれるように見え、かつ、ディスプレイから取り除かれているように見える。いくつかの実施形態では、フィルタ表現のいくつか(例えば1208C)は、右に向かって折りたたまれる。いくつかの実施形態では、フィルタの表現のいくつか(例えば1208E)は、左に向かって折りたたまれる。いくつかの実施例では、フィルタ表現は、ディスプレイから取り除かれるように溶暗するように見える。いくつかの実施例では、フィルタ選択位置(例えば1212)に向かって折りたたむ代わりに、フィルタ表現はディスプレイからスライドし始める。いくつかの実施例では、フィルタ選択位置1212に向かって折りたたむ代わりに、フィルタ表現は、入力の位置(例えば、フィルタ表現1208Cの位置)に対応するフィルタ表現に向かって折りたたまれる。
図12Cは、電子デバイスが折りたたみ効果を開始しても、画像データ1210の表現に適用されたフィルタは、図12Bで適用されたフィルタから変化しないことを更に示す。いくつかの実施例では、フィルタ選択位置1212におけるフィルタ表現は、フィルタ表現が折りたたみを開始したときに変化する。いくつかの実施例では、入力位置に対応するフィルタ表現が、選択位置(例えば1212)の中に移動を開始する。選択位置内のフィルタが変化すると、画像データ1210の表現に適用されたフィルタは、フィルタ選択位置1212内の新しいフィルタ表現と関連付けられたフィルタに変化する。
図12Cは、電子デバイス1200が触知出力生成器を介して、折りたたみ効果のアクティブ化の間に触知フィードバック(例えば、1つ以上の触知出力のシーケンス)1220を生成することを更に示す。いくつかの実施形態では、電子デバイスは、折りたたみ効果のアクティブ化の間にあらゆる触知フィードバックを生成しない。いくつかの実施形態では、触知フィードバックは、折りたたみ効果の完了を示すために生成される。
図12Dは、入力1218の特性強度の増加を検出する電子デバイスを示す。いくつかの実施形態では、押圧入力の特性強度が増加すると、折りたたみ効果が増加し、フィルタ表現のいくつかは、選択位置(例えば1212)に向かって引き寄せられ続ける。図12Dは、折りたたみ効果の間に、触知フィードバック(例えば触知出力のシーケンス)を生成し続ける電子デバイスを更に示す。
図12Eは、入力1218の特性強度の増加の検出を続ける電子デバイスを示す。図12Eにおいて、フィルタ表現のいくつかは、ほとんど完全に折りたたまれているように見える(例えば、ほとんど目に見えない)。図12Eにおいて、入力の強度がほとんど、高強度閾値IT2に到達したため、電子デバイスは、触知フィードバック(例えば1つ以上の触知出力のシーケンス)を生成しない。いくつかの実施形態では、電子デバイスは、触知フィードバック(例えば、1つ以上触知出力のシーケンス)の生成を続ける。
いくつかの実施例では、電子デバイス(例えば1200)が、遷移折りたたみ効果(例えば、図12C~Eに示される折りたたみ効果)の間に入力(例えば1218)の検出を中止し、入力の特性強度が特定の閾値(例えば、高強度閾値IT2)未満である場合、電子デバイスは拡張効果(例えば、逆の折りたたみ効果)を実施し、(図12Aに見られるように)フィルタ選択インタフェースを拡張状態に戻す。したがって、いくつかの実施形態では、電子デバイスがリフトオフを検出すると、電子デバイスは折りたたみ効果を中止し、ユーザインタフェースは図12Aに示す状態に戻る(例えば、拡張する)。
図12Fに示すように、電子デバイス1200は、入力の特性強度が高強度閾値IT2を超過したことを検出する。したがって、電子デバイスは折りたたみ効果を完了し、3つのフィルタ表現のみがフィルタ選択インタフェース1206に表示される。いくつかの実施形態では、最初の入力(例えば、図12Bにおける1218)を受信したときにおける、フィルタ選択位置1212内のフィルタ表現が「フィルタなし」オプション、又は最後に使用したフィルタオプションと関連付けられないため、フィルタ選択インタフェースに表示される3つのフィルタ表現は、現在選択されているフィルタ表現(例えば、フィルタ選択位置1212におけるフィルタ表現)、最後に使用したフィルタ(例えば1208B)、又はお気に入りフィルタであり、かつ、「フィルタなし」表現(例えば1208H)である。いくつかの実施形態では、フィルタインタフェースが、複数の最近使用された、又はお気に入りフィルタ表現を含む場合、短縮されたフィルタインタフェースは、対応する最後に使用したフィルタ表現を含み、短縮されたフィルタインタフェースにおけるフィルタ表現の総量は、3を超える。
いくつかの実施例では、電子デバイス1200において、最初の入力(例えば、図12Bにおける1218)を受信したときにおける、フィルタ選択位置1212内のフィルタ表現が「フィルタなし」表現と関連付けられるとき、2つのフィルタ表現が同時に、低下したフィルタ選択インタフェース(例えば、折りたたまれたインタフェース)に表示される。2つのフィルタ表現は、最後に使用したフィルタ(例えば1208B)表現、及び「フィルタなし」表現(例えば1208H)を含む。
いくつかの実施例では、電子デバイス1200において、最初の入力(例えば、図12Bにおける1218)を受信したときに、フィルタ選択位置1212内のフィルタ表現が最後に使用したフィルタ表現と関連付けられるとき、2つのフィルタ表現が同時に、低下したフィルタ選択インタフェース(例えば、折りたたまれたインタフェース)に表示される。2つのフィルタ表現は、最後に使用したフィルタ(例えば1208B)表現、及び「フィルタなし」表現(例えば1208H)を含む。それゆえ、いくつかの実施形態において、デバイスは、完全な折りたたみ状態において、以下のパラメータ:現在選択されているフィルタ表現、「フィルタなし」表現、又は、最後に使用した若しくはお気に入りフィルタ表現、のうちの任意の1つ以上を満たすフィルタ表現のみを維持する。
図12Gに示すように、フィルタ選択インタフェースが折りたたみ状態にある間、電子デバイス1200は、最も最近使用したフィルタ1208Bに対応する位置において、スワイプ1222を検出し、フィルタ選択位置1212に表示されるフィルタ表現を変化させる。図12Gに示すように、スワイプ入力1222は、入力1218を続けている(例えば、介在リフトオフなしに生じる)。いくつかの実施形態では、スワイプ入力1222がディスプレイ上で維持されたとしても、入力1222の特性強度は高閾値IT2未満である一方、依然として初期強度閾値IT0を上回っている。いくつかの実施形態では、入力1222の特性強度が高強度閾値IT2を下回っていたとしても、電子デバイスがリフトオフイベントを検出する(例えば、強度が初期強度閾値IT0未満まで下がる)まで、フィルタ選択インタフェースは短縮(例えば折りたたみ)モードを維持する。いくつかの実施形態では、スワイプ入力1222は別個の入力であり、ユーザが再びタップ、又は押圧するまで、フィルタは折りたたみモードを維持する。
図12H~図12Iは、図12Gにおいてスワイプ入力1222を受信する電子デバイスの結果を示す。図12Hは、電子デバイス1200がスワイプ入力1222を検出する間の、遷移ユーザインタフェースを示す。いくつかの実施形態では、スワイプ入力1222がディスプレイに沿って移動すると、フィルタ選択位置1212内に表示されるフィルタ表現が徐々に変化する。いくつかの実施例では、選択位置の中でフィルタ表現が変化すると、フィルタ選択位置に対応するフィルタが、画像データ(例えば1210)の表現に徐々に適用される。いくつかの実施例では、フィルタ表現が選択位置(例えば1212)に切り替わるときに、電子デバイスは触知フィードバックを出力する。
図12Iは、選択位置(例えば1212)においてフィルタ表現を変化させた後のユーザインタフェースを示す。結果的に、最後に使用したフィルタ(例えば1208B)は、選択位置の中に表示されない。更に、最後に使用したフィルタ(例えば、「ビビッドウォーム」1208B)に対応するフィルタを、電子デバイスにより、画像データ1210の表現に適用する。図12Iは、電子デバイスが入力(例えば1222)を検出し続けることを更に示す。
図12Jは、電子デバイス1200が図12Iにおいて入力(例えば1222)を検出することを中止したときの、ユーザインタフェースを示す。いくつかの実施形態では、ユーザがタッチ感知ディスプレイから自身の指をリフトオフするとき、電子デバイス1200は、入力の特性強度が初期強度閾値IT0未満に下がることを検出する。したがって、図12Jに示すように、いくつかの実施形態では、フィルタ表現は、電子デバイスがリフトオフコマンドを検出したときに、フィルタ選択インタフェース1206内で視覚的に拡張する。
図12Kは、電子デバイスが図12Jにおける拡張プロセスを完了した後のユーザインタフェースを示す。フィルタ表現が拡張したら、フィルタの表現全てが、フィルタ選択インタフェース内に表示される。いくつかの実施形態では、(図12Iに示すように)フィルタ選択インタフェースが短縮したときに、フィルタ選択位置1212に表示されたフィルタ表現は、全てのフィルタが図12Kに完全に表示されるとき、フィルタ選択位置1212内に表示される。いくつかの実施形態では、フィルタ表現の全てが拡張したとき、フィルタのいくつかは、ディスプレイ1204の目に見える部分に残る。いくつかの実施形態では、ユーザは、フィルタ選択インタフェースに対応する位置においてスワイプし、フィルタ表現の一覧を、ディスプレイの外からディスプレイ上にスクロールすることができる。
図12Lに示すように、電子デバイス1200は、フィルタ選択インタフェース1206の位置に対応する位置において、スワイプ入力1226を検出する。スワイプ入力1226の結果、図12Mに示すように、フィルタ表現はフィルタ選択位置1212を通してスクロールされる。図12Lが示すように、以前に表示されたフィルタ表現の「ビビッドウォーム」は、選択位置から徐々に取り除かれ、新しいフィルタ表現「なし」が選択位置に表示される。いくつかの実施形態では、フィルタ表現「なし」は、あらゆる特定のフィルタに対応せず、むしろこれは、画像データ1210の表現にフィルタが適用されないことに対応する。いくつかの実施例では、フィルタ表現が「ビビッドウォーム」から「なし」に変化すると、「ビビッドウォーム」フィルタは電子デバイス1200により、画像データ1210の表現に適用されている状態から徐々に取り除かれる。
図12Nに示すように、電子デバイス1200は、高閾値IT2を超えた特性強度を有する入力を検出する。特性強度を有する入力を検出した結果、フィルタ表現のいくつかは、ユーザインタフェースにて折りたたまれ(例えば短縮され)、目に見えなくなる。いくつかの実施形態では、2つのフィルタ表現は、フィルタ選択位置1212内に表示されたままである。図12Nに示すように、電子デバイスは、「なし」フィルタ表現がフィルタ選択位置1212内に表示されたときに入力を検出するため、最も最近使用されたフィルタ(例えば、上に視覚インジケータを有するフィルタ)の表現に加えて、フィルタが折りたたまれたときに、「なし」フィルタ表現の位置は、選択インタフェースに残る。
図12Oに示すように、電子デバイス1200は、フィルタ選択インタフェース1206の位置に対応する位置において、スワイプ入力1228を検出する。いくつかの実施形態では、スワイプ入力1228の結果、図12Oに示すように、フィルタ表現はフィルタ選択位置1212を通してスクロールされる。図12Oに示すように、以前に表示されたフィルタ表現「なし」は、徐々にフィルタ選択位置から取り除かれる。図12Oに示すように、新しいフィルタ表現「ビビッドウォーム」は、フィルタ選択位置1212に表示される。いくつかの実施例では、新しいフィルタ表現「ビビッドウォーム」に対応するフィルタは、フィルタがフィルタ選択位置1212内にスクロールするときに、画像データ(例えば1210)の表現に徐々に適用される。
いくつかの実施例では、図12A~図12Pを参照して上述した折りたたみ効果が電子デバイス1200により、画像ビューワアプリケーション、及び/又は画像編集アプリケーション内に任意選択的に実装され、上述したものに類似して機能する。
図13A~図13Fは、いくつかの実施形態に係る、電子デバイスを使用してユーザインタフェースを簡略化するための方法を示すフローチャートである。方法1300は、1つ以上の入力デバイス(例えば、タッチ感知面、キーボード、マウス)、及びディスプレイ(例えばタッチ感知ディスプレイ)を有するデバイス(例えば100、300、500、1200)にて実施される。いくつかの実施形態では、デバイスはタッチ感知ディスプレイを含む。方法1300のいくつかの操作は任意選択的に組み合わされ、いくつかの操作の順序は任意選択的に変更され、いくつかの操作は任意選択的に省略される。
後述のように、方法1300は、ユーザインタフェースを簡略化するための直観的方法を提供する。この方法は、機能に対応する入力を提供するユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが様々な機能をより高速かつより効率的に開始することを可能にすることにより、電力が節約され、バッテリ充電の間隔が増す。
ブロック1302において、電子デバイス(例えば1200)はディスプレイ(例えば1204)上に、一連のフィルタにおける複数のフィルタ(例えば1208A~1208G)の表現を含む、フィルタ選択インタフェース(例えば1206)を表示する(例えば、フィルタ選択モードは、全てのフィルタを表示する)。
いくつかの実施形態では、ブロック1304において、第1のフィルタ(例えば1208A)の表現はフィルタオプションなしに対応し、ここで、フィルタの表現の第1サブセットは、第1のフィルタ(例えば1208C)の表現、及び、最も最近適用されたフィルタ(例えば1208B)に対応する第4のフィルタの表現を除く、複数のフィルタのうちの2つ以上の(例えば全ての)フィルタを含む。第1のフィルタの選択に対応するユーザ入力に応じて表示されるフィルタの表現の数を減少させることにより、ユーザには、第1のフィルタの種類に基づいて取りまとめたサブセットにフィルタを制限するフィードバックが提供され、これにより、ユーザがさほど使用しない可能性があるフィルタのディスプレイを取り除くことで、ディスプレイを片付け、ユーザが使用する可能性の高いフィルタに、より少ないユーザ入力で速やかにアクセス可能にする。改善された視覚的フィードバックをユーザに提供し、操作を実行するために必要な入力の数を低下させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースが更に効率的になり(例えば、デバイスを操作する/デバイスと対話する際に、適切な入力を提供するようにユーザを支援し、ユーザの失敗を減らすことにより、)これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイス電力使用が削減され、電池寿命が向上する。
いくつかの実施形態では、ブロック1306において、第1のフィルタ(1208B)の表現は、最も最近使用されたフィルタオプションに対応し、ここで、フィルタの表現の第1サブセットは、第1のフィルタ(1208B)の表現、及びフィルタオプションなしに対応する第5のフィルタ(例えば1208A)の表現を除く、複数のフィルタのうちの2つ以上の(例えば全ての)フィルタを含む。第1のフィルタの選択に対応するユーザ入力に応じて表示されるフィルタの表現の数を減少させることにより、ユーザには、第1のフィルタの種類に基づいて取りまとめたサブセットにフィルタを制限するフィードバックが提供され、これにより、ユーザがさほど使用しない可能性があるフィルタのディスプレイを取り除くことで、ディスプレイを片付け、ユーザが使用する可能性の高いフィルタに、より少ないユーザ入力で速やかにアクセス可能にする。改善された視覚的フィードバックをユーザに提供し、操作を実行するために必要な入力の数を低下させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースが更に効率的になり(例えば、デバイスを操作する/デバイスと対話する際に、適切な入力を提供するようにユーザを支援し、ユーザの失敗を減らすことにより、)これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイス電力使用が削減され、電池寿命が向上する。
いくつかの実施形態では、ブロック1308において、第1のフィルタ(1208C)の表現は、最も最近適用されたフィルタに対応せず、また、フィルタオプションなしに対応せず、ここで、フィルタの表現の第1サブセットは、第1のフィルタ(例えば1208C)の表現、最も最近適用されたフィルタ(例えば1208B)に対応する第6のフィルタの表現、及びフィルタオプションなし(例えば1208A)に対応する第7のフィルタの表現を除く、複数のフィルタのうちの2つ以上の(例えば全ての)フィルタを含む。いくつかの実施形態では、フィルタの表現の第2サブセットは、第2サブセットがアクティブ化されたときに表示される、フィルタのお気に入りリストからのフィルタを含有する。いくつかの実施形態では、フィルタのお気に入りリストは、最も頻繁に使用したフィルタに基づいて決定される。いくつかの実施形態では、フィルタのお気に入りリストは、カスタマイズ可能なフィルタのリストである。第1のフィルタの選択に対応するユーザ入力に応じて表示されるフィルタの表現の数を減少させることにより、ユーザには、第1のフィルタの種類に基づいて取りまとめたサブセットにフィルタを制限するフィードバックが提供され、これにより、ユーザがさほど使用しない可能性があるフィルタのディスプレイを取り除くことで、ディスプレイを片付け、ユーザが使用する可能性の高いフィルタに、より少ないユーザ入力で速やかにアクセス可能にする。改善された視覚的フィードバックをユーザに提供し、操作を実行するために必要な入力の数を低下させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースが更に効率的になり(例えば、デバイスを操作する/デバイスと対話する際に、適切な入力を提供するようにユーザを支援し、ユーザの失敗を減らすことにより、)これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイス電力使用が削減され、電池寿命が向上する。
いくつかの実施形態では、ブロック1310において、フィルタ選択インタフェース(例えば1206)における第1のフィルタの表現は、第1のフィルタが適用された(例えば色シフト、照明効果、先鋭化、ぼかし)デバイスの、1つ以上のカメラ(例えば1202)の視野のライブプレビュー(例えば1210)を含む。フィルタの表現の一部としてライブプレビューを含めることにより、ユーザには、フィルタが適用されると生じる効果についての視覚的フィードバックが提供され、これにより、ユーザが多数の入力を行い、様々なフィルタを選択してフィードバックを受信する必要性が低下する。改善された視覚的フィードバックをユーザに提供し、操作を実行するために必要な入力の数を低下させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースが更に効率的になり(例えば、デバイスを操作する/デバイスと対話する際に、適切な入力を提供するようにユーザを支援し、ユーザの失敗を減らすことにより、)これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイス電力使用が削減され、電池寿命が向上する。
いくつかの実施形態では、ブロック1312において、フィルタ選択インタフェース(例えば1206)における第2のフィルタの表現は、第2のフィルタが適用されたデバイスの、1つ以上のカメラ(例えば1202)の視野のライブプレビュー(例えば1210)を含む。いくつかの実施形態では、第1のフィルタがフィルタオプションなしに対応する場合、視覚的効果を画像に適用することで、画像の外観が変わることはない。フィルタの表現の一部としてライブプレビューを含めることにより、ユーザには、フィルタが適用されると生じる効果についての視覚的フィードバックが提供され、これにより、ユーザが多数の入力を行い、様々なフィルタを選択してフィードバックを受信する必要性が低下する。改善された視覚的フィードバックをユーザに提供し、操作を実行するために必要な入力の数を低下させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースが更に効率的になり(例えば、デバイスを操作する/デバイスと対話する際に、適切な入力を提供するようにユーザを支援し、ユーザの失敗を減らすことにより、)これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイス電力使用が削減され、電池寿命が向上する。
いくつかの実施形態では、ブロック1314において、フィルタ選択インタフェース(例えば1206)は、最も最近使用したフィルタである第3のフィルタ(例えばフィルタを上回る)表現を特定する、視覚インジケータ(例えば1214)(例えば点)を更に含む。いくつかの実施形態では、視覚インジケータ(例えば1214)は、最も頻繁に使用したフィルタを示した(例えば、デバイスのフォトライブラリ又はカメラロールにて、画像に適用されたフィルタに基づいて)。いくつかの実施形態では、所定の数の最も最近使用した、又はお気に入りフィルタ(例えば、ユーザによりお気に入りフィルタとして明示的にマークされたフィルタ、若しくはユーザが最も頻繁に使用するフィルタ)を示す複数のインジケータが表示される。いくつかの実施形態では、最も最近使用したフィルタは、現在選択されているカメラモードに基づいて決定される(例えば、最も最近使用したフィルタは、現在選択されているカメラモードでキャプチャされた写真で最も最近使用したフィルタ、又は、現在選択されているカメラモードで写真をキャプチャするときに最も最近使用したフィルタである)。いくつかの実施形態では、最も最近使用したフィルタは、任意のカメラモードでの最も最近使用したフィルタに基づくため、デバイスがあるカメラモードから別のカメラモードに切り替わったとしても、最も最近使用したフィルタは同じである。最も最近使用したフィルタを特定する視覚インジケータを含めることにより、ユーザには、ユーザが最も最近使用したフィルタを特定するために複数のフィルタを切り替える必要性が低くなるような、最近適用されたフィルタリング技術についての視覚的フィードバックが提供され、これにより、最も最近使用したフィルタを特定しアクティブ化するのに必要な入力数が減少する。改善された視覚的フィードバックをユーザに提供し、操作を実行するために必要な入力の数を低下させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースが更に効率的になり(例えば、デバイスを操作する/デバイスと対話する際に、適切な入力を提供するようにユーザを支援し、ユーザの失敗を減らすことにより、)これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイス電力使用が削減され、電池寿命が向上する。
ブロック1316において、ディスプレイ(例えば1204)上で、画像データ(例えば1210)の表現(例えば、以前にキャプチャした写真、第1カメラから受信したデータに基づくプレビュー、サーバから受信した画像)、及びフィルタ選択インタフェース(例えば1206)を同時に表示する間に、電子デバイス(例えば1200)はブロック1318において、1つ以上の入力デバイスを介して、一連のフィルタのうちの第1のフィルタが選択基準を満たす間に、フィルタ選択インタフェース(例えば1206)に対応する位置(例えば、フィルタインジケータアフォーダンス上、又はその付近)において、第1の入力(例えば1228)(例えば、スワイプ、タップ及びホールド、タップ、ハード押圧(3Dタッチ)、ボタン押下)を検出する。
いくつかの実施形態では、ブロック1320において、第1のフィルタは、第1の入力(例えば1218)が、第1のフィルタに対応する位置において検出されたときに、選択基準を満たす。第1のフィルタに対応する位置において入力が存在するときに、第1のフィルタが選択基準を満たす(そして例えば、第1のフィルタに対応する位置に入力が存在しないときに、選択基準を満たさない)ことで、ユーザが、目標の入力を提供し、デバイスに、表示されるフィルタ表現の数を減少させることが可能となり、これにより、フィルタを選択するために必要な入力数が減少する。操作を実行するのに必要な入力数を減少させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、ブロック1322において、第1の入力(例えば1218)が検出されるときに(例えば、接触強度の増加が検出されるときに)、第1のフィルタの表現が選択位置(例えば1212)(例えば、画像データの表現に現在適用されているフィルタに対応する位置、フォーカス位置(例えば1210))にあるときに、第1のフィルタは選択基準を満たす。入力が検出されたときに第1のフィルタの表現が選択されるとき、第1のフィルタが選択基準を満たす(そして後江波、入力を受信したときに第1のフィルタの表現が選択されないとき、選択基準を満たさない)ことにより、ユーザが、目標の情報を提供して、デバイスに、表示されるフィルタ表現の数を減少させることが可能となり、これにより、フィルタを選択するのに必要な入力数が減少する。操作を実行するのに必要な入力数を減少させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、ブロック1324において、第1の入力(例えば1218)はタッチ感知ディスプレイでの接触に対応し、ブロック1326において、接触は、第1の強度閾値(例えばハード押圧)より大きい特性強度を有する。第1の入力(例えば1218)の特性強度が、第1の強度閾値を超過することを判定し、応じて、フィルタの第2サブセットの表示を続ける間にフィルタの第1サブセットの表示を中止するデバイスはデバイスに、タッチ感知ディスプレイの同じ位置にて受信した様々な入力を明確にし、適切な操作を実行する能力を付与し、これにより、必要な入力数が減少する。操作を実施するのに必要な入力数を減少させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
ブロック1328において、第1の入力(例えば1218)を検出したことに応じて、電子デバイス(例えば1200)は任意選択的に、ブロック1330~1338の技術を実行する。
ブロック1330において、電子デバイス(例えば1200)は、一連のフィルタのうちのフィルタの表現の第1サブセット(例えば、少なくとも1つ)の表示を中止する(例えば、完全に/部分的に、フルセットから取り除く、縮小する)。ブロック1332において、一連のフィルタのうちの複数のフィルタの表現の第1サブセットは、ブロック1334において、フィルタ選択ユーザインタフェースにおける第1のフィルタの表現からの第1方向に、1つ以上のフィルタ(例えば、第1のフィルタの表現の右側に、1つ以上のフィルタの表現)、及び、ブロック1336において、第1のフィルタの表現からの第2方向に、1つ以上のフィルタ(例えば、第1のフィルタの表現の左側に、1つ以上のフィルタの表現)を含む。第1の入力を検出したことに応じて、フィルタの第1サブセットの表示を中止することにより、表示されたフィルタ表現の数を減少させ、フィルタ表現の第2サブセットの表示を維持することにより、ユーザには関係するフィルタオプションの視覚的フィードバックが提供され、ユーザインタフェースにおける混乱が減少し、フィルタ間をナビゲートして所望のフィルタを発券するために必要なユーザ入力が、より少なくなる。視覚的フィードバックを提供し、操作を実行するのに必要な入力数が減少することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
ブロック1338において、電子デバイス(例えば1200)は、少なくとも第1のフィルタの表現を含む、一連のフィルタのうちの複数のフィルタの表現の第2サブセットの表示を維持する。いくつかの実施形態では、最初の一連のフィルタのサブセットはスクリーン上に維持される。いくつかの実施形態では、スクリーン上でフィルタを維持することは、スクリーン上でフィルタを維持しながら、フィルタの場所をシフトさせることを伴う。
いくつかの実施形態では、ブロック1340において、フィルタの表現の第1サブセットは、ブロック1342~1346におけるものを除く、複数のフィルタのうちの2つ以上(例えば全て)のフィルタを含む。ブロック1342において、フィルタの表現の第1サブセットは、第1のフィルタの表現、及び、最も最近適用されたフィルタに対応する第4のフィルタの表現を除く、複数のフィルタのうちの2つ以上(例えば全て)のフィルタを含む。
いくつかの実施形態では、ブロック1344において、フィルタの表現の第1サブセットは、第1のフィルタの表現、及びフィルタオプションなしに対応する第5のフィルタの表現を除く、複数のフィルタのうちの2つ以上(例えば全て)のフィルタを含む。
いくつかの実施形態では、ブロック1346において、フィルタの表現の第1サブセットは、第1のフィルタの表現、最も最近適用されたフィルタに対応する第6のフィルタの表現、及び、フィルタオプションなしに対応する第7のフィルタの表現を除く、複数のフィルタのうちの2つ以上(例えば全て)のフィルタを含む。
いくつかの実施形態では、電子デバイス(例えば1200)はタッチ感知ディスプレイを含み、第1の入力(例えば1218)は、タッチ感知ディスプレイ上での第1の接触に対応し、ブロック1348において、第1の入力(例えば1218)の検出後に、ディスプレイ(例えば1204)上での第1の接触の検出を続ける間に、ブロック1350及び1352の技術が実施される。ブロック1350において、電子デバイス(例えば1200)は第1の接触の移動を検出する。ブロック1352において、電子デバイス(例えば1200)はディスプレイ(例えば1204)上に、第2のフィルタ(例えば色シフト、照明効果、先鋭化、ぼかし)に対応する加えられた効果を有する、画像データの表現を表示する(そして例えば、ディスプレイ(例えば1204)上に、画像データに対する第1のフィルタに対応する、加えられた視覚的効果を有する画像データの表現の表示を中止する)。接触の移動を検出したことに応じて、画像データの表現をアップデートして第2のフィルタを反映することによりユーザに、デバイスの状態についてのフィードバックが提供され、特に、アクティブ化されたフィルタに対応する視覚的フィードバックが提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第1の接触の移動を検出したことに応じて、電子デバイス(例えば1200)は、第2の選択位置(例えば1212)において第1のフィルタの表現を表示することを中止し、第2の選択位置(例えば1212)において第2のフィルタの表現を表示する。(例えば、第2のフィルタの表現を、ディスプレイ(例えば1204)上の「現在選択されている」フィルタの場所に移動し、ディスプレイ(例えば1204)上の「現在選択されている」フィルタの場所から第1のフィルタの表現を取り除く。)
いくつかの実施形態では、電子デバイス(例えば1200)はタッチ感知ディスプレイを含み、ブロック1354において、第1の入力(例えば1218)は、タッチ感知ディスプレイ上での接触の特性強度(例えば1216)の増加に対応し、接触の特性強度の増加を検出したことに応じて、電子デバイス(例えば1200)はディスプレイ(例えば1204)上で、第1のフィルタ表現の場所を焦点に向けて、動的にシフトさせる。いくつかの実施形態では、第1のフィルタ表現の場所が焦点に向かって移動すると、フィルタの表現の第2サブセットにはない、他のフィルタの表現が、接触強度が増加するにつれて溶暗する、及び/又は低下する。いくつかの実施形態では、フィルタの表現の第2サブセットにはない、他のフィルタの表現は、1つ以上の寸法が縮小する(例えば、フィルタの表現の第2サブセットにおける、フィルタの表現が焦点に向かって移動するにつれ、水平方向に延伸される、又は圧縮されることにより)。ユーザが接触の特性強度を増加させるにつれ、第1のフィルタ表現の場所を焦点に向けて動的にシフトさせることにより、ユーザには、ユーザの入力に基づいて、デバイスにより検出されている強度レベルについてのフィードバックが提供され、また、ユーザに、より強く押圧することにより、デバイスにユーザインタフェース要素と関連付けられた操作を実施させることを示す視覚的フィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第1の入力(例えば1218)は、第1の接触部分及び第2の接触部分を有する、タッチ感知ディスプレイ上での接触に対応し、第1の接触部分は第1の特性強度を有し、第2の接触部分は第2の特性強度を有し、方法は、第1の特性強度が、第2の強度閾値(例えば、フィルタ選択インタフェース(例えば1206)の圧縮が開始する折りたたみ閾値)よりも大きく、第3の強度閾値よりも小さいという判定に従って、ディスプレイ(例えば1204)上で、第1のフィルタ表現の場所を徐々にシフトさせることを更に含み(例えば、フィルタ表現が焦点に向けて移動する)、第2の特性強度が、第3の強度閾値(例えば、フィルタ選択インタフェース(例えば1206)の圧縮が終了する折りたたみ閾値(例えば、第1サブセットの表示が中止される点))よりも大きいという判定に従って、第1のフィルタ表現の場所をシフトさせることを中止する。
いくつかの実施形態では、ブロック1356において、電子デバイス(例えば1200)は、タッチ感知ディスプレイ上で接触の検出を続けながら、接触の特性強度の低下を検出する。いくつかの実施形態では、ブロック1358において、接触の特性強度の低下を検出したことに応じて、ブロック1360~1362が任意選択的に実施される。
いくつかの実施形態では、ブロック1360において、接触の特性強度(例えば、フィルタの第1サブセットの表示を中止するための閾値強度)の低下を検出する前に、接触の特性強度が対応する強度閾値(例えば1216)に達したという判定に従って、電子デバイス(例えば1200)は、フィルタの表現の第1サブセットを表示することなく、フィルタの表現の第2サブセットの表示を維持する。
いくつかの実施形態では、ブロック1362において、接触の特性強度(例えば、フィルタの第1サブセットの表示を中止するための閾値強度)の低下を検出する前に、接触の特性強度が対応する強度閾値(例えば1216)に達しなかったという判定に従って、電子デバイス(例えば1200)はディスプレイ(例えば1204)上で、第1のフィルタ表現の場所を焦点から動的に離してシフトさせる。いくつかの実施形態では、第1のフィルタ表現の場所が焦点から離れて移動すると、サイズは増加する。
ユーザが接触の特性強度を低下させるときに、フィルタの第2サブセットの表示を維持する、又は第1のフィルタの場所を動的にシフトさせることにより、ユーザに、対応する強度閾値(例えば1216)に到達したユーザの入力に基づいて、デバイスにより検出された強度レベルについてのフィードバックが提供され、また、ユーザがより強く押圧して、デバイスがユーザインタフェース要素と関連付けられた操作の実施を中止する必要があるか否かを示す視覚的フィードバックが、ユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、画像データの表現を表示する前に、電子デバイス(例えば1200)において、画像データ(例えば1210)の表現に対応する画像データを(例えばカメラから、メモリから、サーバから)受信する。いくつかの実施形態では画像データはRGB、及び深度マップ値を含む。いくつかの実施形態では、画像データ及び深度情報は、電子デバイス(例えば1200)の外側にあるソースから受信される(例えば、データはサーバから受信される)。
いくつかの実施形態では、接触の移動を検出することに更に応じて、電子デバイス(例えば1200)は、画像データに適用されたフィルタが変化したことを示す触知出力を提供する。いくつかの実施例では、電子デバイス(例えば1200)は、異なるフィルタを切り替えるときに触知出力を提供する。異なるフィルタを切り替えるときに触知出力を実行することにより、ユーザに、選択されたフィルタの状態の変化についての、追加のフィードバックが提供され、ユーザがより効率的に操作を実行するのに役立つ。改善されたフィードバックを提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、また更に、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第1の入力(例えば1218)を検出する前に、第3のフィルタが第2の選択位置(例えば1212)にある間、そして、表現の第1サブセットを表示する間に、電子デバイス(例えば1200)は、タッチ感知ディスプレイ上で第2の接触の移動を検出する。第2の接触の移動を検出したことに応じて、電子デバイス(例えば1200)は、第2の選択位置(例えば1212)において、第3のフィルタの表現の表示を中止し、第2の選択位置(例えば1212)において第4のフィルタの表現を表示し、画像データに対する第4のフィルタに対応する視覚的効果(例えば色シフト、照明効果、先鋭化、ぼかし)を加え、ディスプレイ(例えば1204)上に、加えられた視覚的効果を有する画像データの表現を表示し、ここで、第1の接触は第2の接触である。第2の接触の移動を検出したことに応じてフィルタ間を遷移することにより、ユーザは、強い押圧を必要とすることなく(単にお気に入り又は最近のフィルタではなく)フィルタ間を容易に切り替えることが可能となり、これにより、所望のフィルタを正確に目標とする能力が向上する。向上した目標化能力を提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、また更に、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、電子デバイス(例えば1200)はタッチ感知ディスプレイを含み、ここで、第1の入力(例えば1218)はタッチ感知ディスプレイ上の接触に対応する。フィルタの表現の第1サブセットを表示することなく、フィルタの表現の第2サブセットの表示を維持しながら、電子デバイス(例えば1200)は、接触のリフトオフを検出する。接触のリフトオフの検出に応じて、電子デバイス(例えば1200)は、フィルタの表現の第1サブセットの表示を回復する。接触のリフトオフを検出したことに応じて、フィルタの表現の第1サブセットの表示を回復することにより、フィルタの表現の第1サブセットにアクセスするのに必要なユーザの入力数が減少する。操作を実行するのに必要な入力数を減少させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、また更に、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、電子デバイス(例えば1200)はタッチ感知ディスプレイを含む。フィルタの表現の第1サブセットを表示せず、フィルタの表現の第2サブセットの表示を維持しながら、電子デバイス(例えば1200)は、接触強度の増加を含む入力を検出する。入力を検出したことに応じて、入力が、第4の強度閾値を下回る特性強度から、第4の強度閾値を上回る特性強度を有する第4の強度閾値接触を上回る特性強度への、接触の特性強度の増加を含んだという判定に従って、電子デバイス(例えば1200)は、フィルタの表現の第1サブセットの表示を回復する。入力を検出したことに応じて、入力が、第4の強度閾値を下回る特性強度から、第4の強度閾値を上回る特性強度を有する第4の強度閾値接触を上回る特性強度への、接触の特性強度の増加を含まなかったという判定に従って、電子デバイス(例えば1200)は、フィルタの表現の第1サブセットを表示することなく、フィルタの表現の第2サブセットの表示を維持する。入力の特性強度が閾値を上回るときに、フィルタの表現の第1サブセットの表示を回復し、入力の特性強度が閾値を上回って増加しないときに、フィルタの表現の第2サブセットの表示を維持することにより、ユーザには、(ユーザが少し押圧するときに)操作のプレビューが提供され、強く押圧することにより、ユーザの操作をロックするため、ユーザはフィルタを切り替える間に、より高い入力特性強度を維持する必要がなく、これにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となる。
いくつかの実施形態では、フィルタの表現の第1サブセットの表示を中止すること(例えば、完全に/部分的に、フルセットから取り除く、縮小すること)は、第1のフィルタの表現が、第1のフィルタが適用されたデバイスの1つ以上のカメラの視野のライブプレビュー(例えば1210)の少なくとも一部分の表示を続ける間に、第1のフィルタの表現のサイズを徐々に縮小することと、第2のフィルタの表現が、第2のフィルタが適用されたデバイスの1つ以上のカメラの視野のライブプレビュー(例えば1210)の少なくとも一部分の表示を続けながら、第2のフィルタの表現のサイズを徐々に縮小することと、を更に含む。
いくつかの実施形態では、第2の接触の移動を検出することに更に応じて、第4のフィルタが、第1の種類のフィルタである(例えば、所定のお気に入り、最も頻繁に使用されている、最も使用されている)という判定に従って、電子デバイス(例えば1200)は対応する触知出力を生成し、第4のフィルタが、第2の種類のフィルタ(例えば、所定のお気に入り、最も頻繁に使用されている、最も使用されている以外のフィルタ)であるという判定に従って、電子デバイス(例えば1200)は、対応する触知出力の生成を取り止める(例えば、あらゆる触知出力の生成を取り止める、又は異なる触知出力パターンを有する触知出力の生成を取り止める)。いくつかの実施形態では、新しいフィルタがフィルタ選択インタフェース(例えば1206)内に表示されるときはいつでも、触知出力が提供される。異なるフィルタを切り替えるときに触知出力を実行すること(そして、フィルタに基づいて異なる触知出力を実行すること)により、ユーザに、選択されたフィルタの状態の変化についての、追加のフィードバックが提供され、ユーザがより効率的に操作を実行するのに役立つ。改善されたフィードバックを提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、また更に、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、電子デバイス(例えば1200)はタッチ感知ディスプレイを含み、ここで、第1の入力(例えば1218)は、所定の時間周期維持される、タッチ感知ディスプレイ上の接触に対応する。いくつかの実施形態では、保持時間は所定の時間周期より大きい。入力が、所定の時間周期を超える持続時間の間維持されるときに操作を実行することにより、ユーザが、ビューファインダを不明瞭化する、又はディスプレイを混乱させる追加のユーザインタフェース要素を表示する必要なく選択可能なものの中から、追加の(例えば全ての)フィルタにアクセス可能となる。追加で表示される制御を有するユーザインタフェースを混乱させることなく、追加の制御オプションを提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、また更に、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第1の入力(例えば1218)を検出したことに応じて、電子デバイス(例えば1200)は電子デバイス(例えば1200)において、触知出力(例えば1220)を提供する。いくつかの実施形態では、触知出力(例えば1220)は、対応する強度閾値(例えば1216)に到達する接触の特性強度に応じて生成される(例えば、フィルタの表現の第2サブセット以外のフィルタの表現の表示が中止されたプロセスに関して上述したように)。いくつかの実施形態では、フィルタのサブセットが再表示されるときに、触知出力が提供される(例えば、(上述のように)接触のリフトオフに応じて、又は後続の強い押圧に応じて)。フィルタのサブセットが再表示されるときに触知出力を実行することにより、ユーザに、選択したフィルタの状態に関するフィードバックが提供され、ユーザがより効率的に操作を実行するのに役立つ。改善されたフィードバックを提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、また更に、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、一連のフィルタの中の複数のフィルタの表現は、第1の入力(例えば1218)を検出する間にディスプレイ(例えば1204)上に表示されない、フィルタの表現の第3サブセットを含む。いくつかの実施形態では、フィルタ選択インタフェース(例えば1206)に沿った接触の移動を含む入力はフィルタ選択インタフェース(例えば1206)をスクロールさせ、フィルタの第3サブセットにおいて1つ以上のフィルタの表現を明瞭化する。
なお、方法1300に関して前述したプロセス(例えば、図13A~図13F)の詳細はまた、後述する/前述した方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法700、900、1100、1500、1700は、方法1300に関して上述した様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、様々な方法の中から、フィルタユーザインタフェース、アフォーダンス、及び制御の要素を組み合わせることができる。別の例として、方法1300のビューファインダは、方法700、900、1100、1500、1700のビューファインダと類似している。簡潔にするために、これらの詳細は、以下で繰り返さない。
図14Aに示すように、電子デバイス1400は、タッチ感知性であるディスプレイ1404(例えばタッチスクリーン)を含み、ディスプレイは、カメラ(例えば1402)から受信する情報を表示する。いくつかの実施形態では、電子デバイス1400は、デバイス100、300、及び/又は500の1つ以上の特徴を含む。いくつかの実施形態において、ディスプレイはタッチ感知面とは異なる。いくつかの実施例では、カメラ(例えば1402)は、電子デバイス(例えば1400)の前面、背面、又は両側に配置される。
図14Aは、カメラ(例えば1402)により画像をキャプチャするために、カメラアプリケーションユーザインタフェースがディスプレイ1404上に表示されることを更に示す。カメラアプリケーションユーザインタフェースは、カメラの視野のライブプレビューを含む画像データ1410の表現を更に含む。図14Aは、グリッドモードがカメラアプリケーション内で可能になり、対応するグリッドがディスプレイ上に表示され、ユーザが画像をフレームすることを助けることを更に示す。
図14Aは、カメラ用の焦点1406の平面、水平面1408、及び、焦点1406の平面と水平面1412との間の相対角度を更に示す。図14Aにおいて、焦点1406の平面は、焦点を交差する、カメラの前にある想像上の2次元平面である。図14Aは、テーブルの表現、及び、テーブルの表現の上に静止中として表示される、パイ1411の表現もまた含む。いくつかの実施形態では、水平面の代わりに、異なる向き(例えば垂直)の平面を使用して、相対角度(例えば1412)を測定する。いくつかの実施例では、所定の向きはテーブルに対して水平であり、水平の向きは、下向きの視点から画像をキャプチャするための最適の向きを提供する。
図14Bは、テーブルの表現に対して前向きに(例えば、向かって)傾斜している電子デバイスを示す。電子デバイスがテーブルに向かって傾斜すると、焦点の平面と(テーブルに対して平行な)水平面との相対角度は、図14Aの90°から、図14Bの70°まで低下する。
ユーザが、テーブルの前方に向かって傾斜を続けると、図14Cに示すように、水平面と焦点の平面との相対角度は45°まで低下する。図14Cに更に示すように、特定の角度(例えば45°以下)において、水平面と焦点の平面との相対角度(例えば相対差)は、所定の位置調整閾値(例えば所定のそれぞれの位置調整閾値)(例えば45°)内にある(例えば、それ以下である)。結果的に、視覚インジケータ(例えば1414A及び1414B)が表示される。いくつかの実施例では、所定の位置調整閾値は35、30、25、20、15、10、又は5°である。
いくつかの実施例では、視覚インジケータは、2つの個別のグラフィカルオブジェクト1414A及び1414Bとして表される。いくつかの実施形態では、2つのグラフィカルオブジェクトのうちの1つ(例えば1414A)は、ディスプレイの中央で静止したままである。いくつかの実施形態では、第2のグラフィカルオブジェクト(例えば1414B)は、電子デバイスの向きに基づいて場所を変化させる。視覚インジケータは、所定の向きに対してデバイスを配置することにおいてユーザを案内する、ユーザに対する補助として機能する。後述のように、焦点1406の平面と水平面1408との相対角度が低下を続ける(例えば、近づいて平行になる)と、グラフィカルオブジェクト1414Bは徐々に、グラフィカルオブジェクト1414Bに向かって引き寄せられる。いくつかの実施形態では、焦点1406の平面と水平面1408との相対角度が0の(例えば、平行である)とき、グラフィカルオブジェクト(例えば1414A及び1414B)は、完全に重なり合っているように見える(例えば、1つのグラフィカルオブジェクトとして見える)。
いくつかの実施形態では、電子デバイスが、焦点の平面と水平面との相対角度が所定の位置調整閾値(例えば45°)以内にあると判定するとき、視覚インジケータは徐々に溶明するように見える。いくつかの実施形態では、電子デバイスが、焦点の平面と水平との相対角度が所定の位置調整閾値(例えば45°)以内にあると判定するとき、視覚インジケータは完全に不透明に表示される。
いくつかの実施例では、電子デバイスが、水平面と焦点の平面との相対角度が、所定の時間周期(例えば2、5、10秒)間、位置調整閾値(例えば45°)以内のままであると判定した後にのみ、視覚インジケータが表示される。したがって、いくつかの実施例では、視覚インジケータが表示される前に、所定の時間周期の間、相対角度が所定の位置調整閾値内に残るように、電子デバイスが配向されたままとならなくてはならない。いくつかの実施例では、電子デバイスが、所定の時間周期(例えば2、5、10秒)の間、位置調整閾値(例えば45°)内のままでないことを電子デバイスが判定した場合、視覚インジケータは表示されない。いくつかの実施例では、時間は、視覚インジケータが表示されるか否かを判定する因子ではない。
図14D~図14Eは、電子デバイスが前に向かって傾斜を続けるときのユーザインタフェースを示す。図14Dに示すように、水平面と焦点の平面との相対角度が低下し続けることを電子デバイス1400が判定すると、グラフィカルオブジェクト1414Bは、グラフィカルオブジェクト1414Aに向かって徐々に引き寄せられ続ける。更に、水平面と焦点の平面との相対角度(例えば、図14Dでは20°)が低下し続けることを電子デバイス1400が判定する場合、グラフィカルオブジェクト1414A及び1414Bは、溶明を続ける。更に、いくつかの実施形態では、水平面と焦点の平面との相対角度(例えば、図14Eでは11°)が、所定のフェード閾値(例えば15°)に到達したことを電子デバイスが判定すると、グラフィカルオブジェクト1414A及び1414Bは完全に不透明に表示される。いくつかの実施例では、フェード閾値は30、25、20、15、10、5、又は2°である。
図14Fに示すように、電子デバイス1400はここで、水平面から5°以内に配置される。結果的に、水平面と焦点の平面との相対角度がスナップ閾値(例えば10°)以内にあるため、グラフィカルオブジェクト1414A及び1414Bは中心の表示場所にスナップされる。いくつかの実施形態では、スナップ閾値は25、20、15、10、5、4、3、2、又は1°である。したがって、いくつかの実施形態において、焦点の平面が水平面に対して、完全に平行でなくとも、水平面と焦点の平面との相対角度(例えば5°)が、スナップ閾値(例えば10°)以内にあると判定されれば、グラフィカルオブジェクト1414A及び1414Bは所定の位置調整が行われ、ディスプレイの中央に表示される(例えば、スナップされる)。いくつかの実施形態では、グラフィカルオブジェクトは、ディスプレイの中央の場所にスナップされているとき、アニメーションを表示する。いくつかの実施形態では、アニメーションは、色の違い、形状の違い、又は場所の違い(例えば、わずかなバウンス効果)のうちの任意の1つ以上を含む。
図14Gに示すように、電子デバイス1400が前に向かって傾斜を続けても、電子デバイスにより測定されるように、水平面と焦点の平面との相対角度(例えば9°)は、スナップ閾値(例えば10°)内に維持される。結果的に、いくつかの実施形態では、グラフィカルオブジェクト(例えば1414A及び1414B)は、ディスプレイの中心に表示されたままとなる。
図14Hに示すように、水平面と焦点の平面との相対角度(例えば11°)がスナップ閾値(例えば10°)を上回ることを電子デバイス1400が判定すると、グラフィカルオブジェクト(例えば1414A及び1414B)は、互いに分離していると示される。いくつかの実施形態では、最初のスナップが発生すると、最初のスナップ閾値(例えば10°)が増加し(例えば15°)、わずかな偶然の手の動きを考慮に入れる。したがって、いくつかの実施形態では、水平面と焦点の平面との相対角度が、増加したスナップ閾値(例えば15°)以内にあると電子デバイスが判定する限り、グラフィカルオブジェクト(例えば1414A及び1414B)はディスプレイの中心の場所にスナップされたままである。
図14I~Kに示すように、水平面と焦点の平面との相対角度が増加していることを電子デバイスが検出し続ける限り、グラフィカルオブジェクト1414Bは、グラフィカルオブジェクト1414Aから更に離れて移動するものとして表示され続ける。更に、図14I~Jに示すように、水平面と焦点の平面との相対角度が増加していることを電子デバイスが検出し続ける限り、視覚インジケータは徐々に溶暗する。図14Kに示すように、水平面と焦点の平面との相対角度が所定の位置調整閾値内にないと電子デバイスが判定したとき、視覚インジケータの表示は中止される。
図15A~図15Eは、いくつかの実施形態に係る電子デバイス(例えば1400)を使用した、画像の構図方法を示すフローチャートである。方法700は、カメラ、センサ(例えばジャイロスコープ、加速度計、コンパス)、1つ以上の入力デバイス(例えばタッチ感知面、キーボード、マウス)、及びディスプレイを有するデバイス(例えば100、300、500、1400)にて実行される。いくつかの実施形態では、デバイスは、それぞれが任意選択的に異なる焦点距離を有する複数のカメラを有する。方法1500のいくつかの操作は任意選択的に組み合わされ、いくつかの操作の順序は任意選択的に変更され、いくつかの操作は任意選択的に省略される。
後述のように、方法1500は、画像を構図するための直観的方法を提供する。この方法は、機能に対応する入力を提供するユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが様々な機能をより高速かつより効率的に開始することを可能にすることにより、電力が節約され、バッテリ充電の間隔が増す。
ブロック1502において、電子デバイス(例えば1400)はディスプレイ(例えば1404)上に、メディアをキャプチャするための、(例えば、カメラの視野内に、コンテンツのライブプレビュー又はほぼライブプレビュー画像を含む)カメラビューファインダ(例えば1410)を表示する。
ブロック1504において、カメラビューファインダ(例えば1410)を表示する間に、ブロック1506~1550の技術が任意選択的に実行される。
ブロック1506において、センサからのデータに基づいて、デバイスが、ブロック1516~1524の技術が実行されたという位置調整ガイド表示基準を満たすという判定に従って、ブロック1508において、位置調整ガイド表示基準は、カメラ(例えば1402)の焦点の平面(例えば1406)の向きと、所定の向き(例えば1408)(例えば、所定の平面に対する向き)との相対差(例えば1412)が、位置調整ガイド表示基準が満たされるためにそれぞれの位置調整閾値内にあるという要件を含む。いくつかの実施形態では、それぞれの位置調整閾値は、カメラ(例えば1402)の焦点の平面(例えば1406)が、所定の平面に対して平行又は垂直である、所定の角度の範囲(例えば5未満、10未満、又は15°未満)にあるか否かに基づく。位置調整閾値が満たされたときに、カメラビューファインダ(例えば1410)内に位置調整ガイドを表示することにより、ユーザには、ユーザが特定の向きにデバイスを配置しようとするときに、位置調整ガイドの形態でフィードバックが提供され、これによりユーザは、特定の向きにデバイスをより正確に配置することが可能となる。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック1510において、位置調整ガイド表示基準は、カメラ(例えば1402)の焦点の平面(例えば1406)の向きと、所定の向き(例えば1408)との相対差(例えば1412)が、位置調整ガイド表示基準が満たされるために、少なくとも閾値時間の間、それぞれの位置調整閾値内に維持されるという要件を含む(例えば、位置調整ガイド表示基準は、位置調整ガイド(例えば1414A及び1414B)が表示されるために、少なくとも所定の時間の間、位置調整ガイド(例えば1414A及び1414B)を表示することに対応する向きの範囲内にデバイスが維持されることを必要とするため、位置調整ガイド(例えば1414A及び1414B)を表示することに対応する向きの範囲を通してデバイスが一時的に移動した場合、位置調整ガイド(例えば1414A及び1414B)は表示されない)。位置調整閾値が閾値時間の間満たされているときに、カメラビューファインダ(例えば1410)内に位置調整ガイドを表示することにより、ユーザには、デバイスが単に、ユーザにより(デバイスを特定の向きに維持することなく)再配向されるときではなく、ユーザが特定の位置にデバイスを配置しているときに、位置調整ガイドの形態でフィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック1512において、位置調整ガイド表示基準は、カメラ(例えば1402)の焦点の平面(例えば1406)の向きと、所定の向き(例えば1408)との相対差(例えば1412)が、位置調整ガイド表示基準が満たされるためにそれぞれの位置調整閾値内に維持される間、デバイスの向きは、閾値時間の間、閾値量を超えて変化しないという要件を含む(例えば、位置調整ガイド表示基準は、デバイスが、位置調整ガイド(例えば1414A及び1414B)が表示されるために、位置調整ガイド(例えば1414A及び1414B)を表示することに対応する向きの範囲にある間、所定の向き(例えば1408)に対して実質的に静置した向きに維持される必要があるため、位置調整ガイド(例えば1414A及び1414B)は、デバイスが、位置調整ガイド(例えば1414A及び1414B)を表示することに対応する向きの範囲の間を過剰に移動しない場合、表示されない)。
ブロック1514において、センサからのデータに基づいて、位置調整ガイド表示基準が満たされない(例えば、カメラ(例えば、所定の平面と、カメラ(例えば1402)の焦点の平面(例えば1406)との角度が閾値を超えている)(例えば、カメラレンズが水平/垂直面に対して十分に平行でない)という判定に従って、電子デバイス(例えば1400)はカメラビューファインダ(例えば1410)内で、位置調整ガイド(例えば1414A及び1414B)の表示を取り止める。カメラビューファインダ内での位置調整ガイド(例えば1414A及び1414B)の表示を取り止めることにより、ユーザへの視覚的散乱を低下させ、ユーザの注意がカメラのビューファインダから離れることを避けるのに役立ち、カメラビューファインダ内の対象を妨害することを避ける。視覚的散乱を低下させ、ビューファインダを妨げることを避けることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、また更に、デバイスの電力使用が低下し電池寿命が向上する。
ブロック1516において、電子デバイス(例えば1400)はディスプレイ(例えば1404)上に、(例えば、カメラ(例えば1402)の視野のライブプレビューの少なくとも一部分に重なり合った)カメラビューファインダ(例えば1410)内の位置調整ガイド(例えば1414A及び1414B)(例えば十字線、長方形、楕円、三角形)を表示する。ブロック1518において、カメラ(例えば1402)の焦点の平面(例えば1406)の向きが、所定の向き(例えば1408)に対して変化すると、位置調整ガイド(例えば1414A及び1414B)の外観が変化する(例えば、位置調整ガイド(例えば1414A及び1414B)は位置調整からの不一致を示す)。位置調整ガイド表示基準が満たされたか否かに基づいて、カメラビューファインダ内に位置調整ガイドを表示する(そして、表示を取り止める)ことにより、ユーザには、デバイスの向き状態についてのフィードバックが提供される。例えば、まっすぐ下に示されたデバイスのカメラ(例えば1402)を用いて写真撮影を試みるユーザには、デバイスが実質的に下に向かって示されたときに、位置調整ガイドの形態で視覚的フィードバックが提供され、これによりユーザが、デバイスを(位置調整ガイドを使用して)より良く位置調整可能となり、デバイスがより正確に、下に向かって示される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、センサはカメラ(例えば1402)の一部である。いくつかの実施形態では、センサはカメラ(例えば1402)とは独立している。いくつかの実施形態では、カメラ(例えば1402)の焦点の平面(例えば1406)は、地球の表面、又は地球の重力場に対して垂直な平面などの水平面に対して、実質的に平行でなければならない。平行な位置調整により、完全、又はほぼ完全な位置調整によって、上方から写真をキャプチャすることが可能となる。いくつかの実施形態では、カメラ(例えば1402)の焦点の平面(例えば1406)は、地球の表面、又は地球の重力場に対して平行な平面などの水平面に対して、実質的に垂直でなければならない。垂直な位置調整により、完全な、又はほぼ完全な位置調整によって、写真をまっすぐにキャプチャすることが可能となる。
いくつかの実施形態では、焦点の平面(例えば1406)は、焦点を通過するカメラ(例えば1402)の前の、想像上の2次元平面である。
いくつかの実施形態では、ガイドーディスプレイモードがアクティブ化されている(そして、他の基準が満たされている)ときに位置調整ガイド(例えば1414A及び1414B)が表示され、ガイドーディスプレイモードがアクティブ化されていないときに(他の基準が満たされているときでも)、表示されない。いくつかの実施形態では、ガイドーディスプレイモードは、恒久性ガイド(例えばグリッド)が表示されるモードである。ガイドーディスプレイモードがイネーブルされている間にガイドを恒久的に表示することにより、ユーザは、繰り返しディスプレイに表示され、そしてディスプレイから取り除かれるガイドにより生じ得る注意散漫を回避する。視覚的散乱を低下させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、また更に、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、ブロック1520において、位置調整ガイド(例えば1411A及び1411B)は、少なくとも2つの視覚インジケータを含む(例えば、1つのインジケータは、他のインジケータに関係なく、ディスプレイ(例えば1404)上での場所を変化させる)。
いくつかの実施形態では、ブロック1522において、少なくとも2つの目に視覚インジケータのうちの少なくとも1つ(例えば、1つのインジケータは、他のインジケータに関係なくディスプレイ(例えば1404)上での場所を変化させる)は、カメラ(例えば1402)の焦点の平面(例えば1406)の向きが所定の向き(例えば1408)に対して変化するときに、静止したままである。デバイスのディスプレイ(例えば1404)上に静止したままに視覚インジケータを表示することにより、ユーザには、静止した視覚インジケータの位置を、静止していない視覚インジケータの位置と比較したときに、所定の向き(例えば1408)がデバイスにどれほど近いかに関する視覚的フィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック1524において、2つの視覚インジケータの距離は、カメラ(例えば1402)の焦点の平面(例えば1406)の向きと所定の向き(例えば1408)との相対差(例えば1412)に、動的に基づく。いくつかの実施形態では、インジケータが遠く離れれば離れるほど、デバイスが更に遠くに配置され、1つ以上のカメラの視野の、下向き写真を撮影する。2つの視覚インジケータの距離を動的にアップデートすることにより、ユーザには、所定の向き(例えば1408)を得るために必要なデバイスの向きの変化の程度についての視覚的フィードバックが提供され、ユーザには、デバイスの向きの変化が、2つの視覚インジケータの距離の変化を引き起こすことを示す視覚的フィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック1526において、位置調整ガイド(例えば1414A及び1414B)を表示する間、そして、カメラ(例えば1402)の焦点の平面(例えば1406)の向きが第1の向きにある間、電子デバイス(例えば1400)は、センサからのデータに基づいて、第1の向きから第2の向きへの、カメラ(例えば1402)の焦点の平面(例えば1406)の向きの変化を検出する。
いくつかの実施形態では、ブロック1528において、第1の向きから第2の向きへの、カメラ(例えば1402)の焦点の平面(例えば1406)の向きの変化を検出したことに応じて、ブロック1530において、電子デバイス(例えば1400)は、少なくとも2つの視覚インジケータのうちの第1の視覚インジケータ(例えば移動する、又は静止していないインジケータ)の表示場所(例えば、向きの変化の程度に基づく、計算された場所、静止したインジケータの場所に基づかない場所)を変更し、ここで、第1の視覚インジケータの表示場所は、第1の向きと第2の向きの相対差(例えば1412)に基づいて変更される。(例えば、1つのインジケータは、他のインジケータとは関係なく、ディスプレイ(例えば1404)上で場所を変化させる。)いくつかの実施形態では、デバイスが、所定の閾値を超えて場所を変化させるときに、2つの個別の視覚インジケータの少なくとも1つが解凍する。
いくつかの実施形態では、第1の向きから第2の向きへの、カメラ(例えば1402)の焦点の平面(例えば1406)の向きの変化を検出することに更に応じて、ブロック1532において、カメラ(例えば1402)の焦点の平面(例えば1406)の第2の向きと所定の向き(例えば1408)の相対差(例えば1412)が、第1の視覚インジケータ位置調整閾値(例えば、インジケータスナップ閾値、インジケータが、所定の位置調整された配置に表示されないときの、相対差(例えば1412)の値(例えば0°から5°)の範囲)内にないという判定に従って、電子デバイス(例えば1400)は、アップデートされた表示場所にて第1の視覚インジケータを表示する。いくつかの実施形態では、第1の向きから第2の向きへの、カメラ(例えば1402)の焦点の平面(例えば1406)の向きの変化を検出することに更に応じて、ブロック1534において、カメラ(例えば1402)の焦点の平面(例えば1406)の第2の向きと所定の向き(例えば1408)との相対差(例えば1412)が、第1の視覚インジケータ位置調整閾値内にあるという判定に従って、電子デバイス(例えば1400)は、所定の表示場所(例えばスナップ場所、静止したインジケータと完全に位置調整されているなど)にて第1の視覚インジケータを表示する。デバイスの現在の向きが、所定の向き(例えば1408)の閾値量内にあるときにインジケータをスナップして位置調整することにより、ユーザに、デバイスの向き状態、そして特に、デバイスが所定の向き(例えば1408)と実質的に位置調整されているという視覚的フィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック1536において、第1の視覚インジケータが、所定の表示場所(例えばスナップ場所、静止したインジケータと完全に位置調整されているなど)にて表示される間、電子デバイス(例えば1400)は、センサからのデータに基づいて、第3の向きから第4の向きへの、カメラ(例えば1402)の焦点の平面(例えば1406)の向きの変化を検出し、ここで、第3の向きは、第1の視覚インジケータ位置調整閾値内にある、所定の向き(例えば1408)に対する相対差(例えば1412)を有する。いくつかの実施形態では、カメラ(例えば1402)の焦点の平面(例えば1406)の向きの変化は、カメラ(例えば1402)の焦点の平面(例えば1406)の向きが第3の向きにある間に開始する。いくつかの実施形態では、第4の向きは、第1の視覚インジケータ位置調整閾値の外にある、所定の向き(例えば1408)に対する相対差(例えば1412)を有する。
いくつかの実施形態では、ブロック1538において、第3の向きから第4の向きへの、カメラ(例えば1402)の焦点の平面(例えば1406)の向きの変化を検出したことに応じて、ブロック1540~1542の技術が実行される。
いくつかの実施形態では、ブロック1540において、カメラ(例えば1402)の焦点の平面(例えば1406)の第4の向きと所定の向き(例えば1408)との相対差(例えば1412)が、第2の視覚インジケータ位置調整閾値(例えば、インジケータスナップ閾値、インジケータが所定の位置調整配置に表示されるときの、相対差(例えば1412)の値(例えば0°から5°)の範囲)の外にないという判定に従って、電子デバイス(例えば1400)は、所定の表示場所にて第1の視覚インジケータの表示を維持する。いくつかの実施形態では、第2の視覚インジケータ位置調整閾値は、第1の視覚インジケータ位置調整閾値と同じである。いくつかの実施形態では、(ユーザがデバイスを第1の視覚インジケータ位置調整閾値付近で維持する場合に、偶然に視覚インジケータが位置調整のスナップアウトを行うことを避けるために、)第2の視覚インジケータ位置調整閾値は、第1の視覚インジケータ位置調整閾値とは異なる。
いくつかの実施形態では、ブロック1542において、カメラ(例えば1402)焦点の平面(例えば1406)の第4の向きと所定の向き(例えば1408)との相対差(例えば1412)が、第2の視覚インジケータ位置調整閾値の外にあるという判定に従って、第2のアップデートされた表示場所において第1の視覚インジケータを表示し、ここで、第2のアップデートされた表示場所の場所は、カメラ(例えば1402)の焦点の平面(例えば1406)の向きと所定の向き(例えば1408)との相対差(例えば1412)に基づく。いくつかの実施形態では、視覚インジケータの移動が静止した視覚インジケータにスナップされる間に、カメラ(例えば1402)の焦点の平面(例えば1406)の向きと、視覚インジケータ位置調整閾値の外にある(例えば、より大きい)所定の向き(例えば1408)との相対差(例えば1412)をもたらす、向きの変化視覚インジケータが移動することにより、向きの変化の程度に基づいて、静止したインジケータの場所に基づかない新しい場所にて表示される。対照的に、視覚インジケータ位置調整閾値未満の相対差(例えば1412)をもたらす向きの変化は、移動する視覚インジケータの場所のアップデートを引き起こさない(例えば、静止した視覚インジケータにスナップされたままである)。所定の向き(例えば1408)と比較して、デバイスの現在の向きが閾値量を超過するときにインジケータを位置調整からスナップすることにより、ユーザに、デバイスの向き状態、そして特に、デバイスが所定の向き(例えば1408)と実質的に位置調整されていないという視覚的フィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック1544において、カメラ(例えば1402)の焦点の平面(例えば1406)の向きが、それぞれの位置調整閾値内にある所定の向き(例えば1408)に対する相対差(例えば1412)を有する第7の向きにある間、そして、少なくとも2つの視覚インジケータのうちの、第3の視覚インジケータが表示される間に、電子デバイス(例えば1400)は、センサからのデータに基づいて、第7の向きから第8の向きへの、カメラ(例えば1402)の焦点の平面(例えば1406)の向きの変化を検出する。
いくつかの実施形態では、ブロック1546において、第7の向きから第8の向きへの、カメラ(例えば1402)の焦点の平面(例えば1406)の向きの変化を検出したことに応じて、ブロック1548~1550の技術を実行する。
いくつかの実施形態では、ブロック1548において、カメラ(例えば1402)の焦点の平面(例えば1406)の第8の向きと所定の向き(例えば1408)との相対差(例えば1412)が、視覚インジケータ位置調整閾値内にあるという判定に従って、電子デバイス(例えば1400)は、第3の視覚インジケータの表示を維持する(例えば、同じ場所又は異なる場所にて表示を維持する、類似の視覚特性(例えば表示強度)又は異なる視覚特性を有する表示を維持する)。
いくつかの実施形態では、ブロック1550において、カメラ(例えば1402)の焦点の平面(例えば1406)の第8の向きと所定の向き(例えば1408)との相対差(例えば1412)が視覚インジケータ位置調整閾値内にない、という判定に従って、電子デバイス(例えば1400)は、第3の視覚インジケータの表示を中止する。デバイスの向きと所定の向きとの差が閾値量を超過したときに、カメラビューファインダ内での位置調整ガイド(例えば1414A及び1414B)の表示を中止することにより、位置調整ガイド(例えば1414A及び1414B)の表示と、位置調整ガイド(例えば1414A及び1414B)の非表示とを遷移することが可能になり、それにより、役立つ場合に追加の制御を表示し、役立たない場合に追加の制御を表示しない。役立つときに追加の制御オプションを提供し、役立たないときに、追加の表示される制御オプションによりUIを混乱させないことにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが適切な入力を提供することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、所定の向き(例えば1408)は水平の向き(例えば、地球の表面、又は地球の重力場に垂直な平面)に対応する。
いくつかの実施形態では、所定の向き(例えば1408)は垂直方向(例えば、地球の重力場に対して平行)である。
いくつかの実施形態では、少なくとも2つの視覚インジケータのうちの少なくとも1つ(例えば、1つのインジケータは、他のインジケータに関係なくディスプレイ(例えば1404)上での場所を変化させる)は、カメラビューファインダ(例えば1410)の中心に近接して(例えば中心にて、又は中心付近にて)表示される。視覚インジケータの1つをカメラビューファインダの中心に近接して表示させることにより、他の視覚インジケータを表示するための、中心にある視覚インジケータの全ての方向に更なる空間が提供され、これにより、所定の向きと現在のデバイスの向きとの差が、視覚的フィードバックとしてユーザに提供される粒度が最大化される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、所定の表示場所にて第1の視覚インジケータを表示することは、視覚インジケータのうちの任意の1つ以上の位置にて、対応する(例えば所定の)アニメーションを表示すること(例えば、固定した視覚インジケータの位置において強調表示、明滅、フラッシュを表示する、及び/又は第1の位置から所定の表示場所に移動する視覚インジケータを並進移動させること)を含む。いくつかの実施形態では、アニメーションによりユーザが、画像が位置調整されていることを理解することができる。アニメーションはユーザの注意を、その事実に引く。
いくつかの実施形態では、カメラ(例えば1402)の焦点の平面(例えば1406)の向きが、それぞれの位置調整閾値内にある所定の向き(例えば1408)に対する相対差(例えば1412)を有する第5の向きにある間、そして、少なくとも2つの視覚インジケータのうちの第2の視覚インジケータが、第1の値の視覚特性(例えば第1の視覚強度、第1の色、第1のサイズ)を有して表示される間に、電子デバイス(例えば1400)は、センサからのデータに基づいて、第5の向きから第6の向きへの、カメラ(例えば1402)の焦点の平面(例えば1406)の向きの変化を検出し、ここで、カメラ(例えば1402)の焦点の平面(例えば1406)の第6の向きと所定の向き(例えば1408)との相対差(例えば1412)は、視覚インジケータ位置調整閾値内にある。第5の向きから第6の向きへの、カメラ(例えば1402)の焦点の平面(例えば1406)の向きの変化を検出したことに応じて、第1の値とは異なる、第2の値の視覚特性(例えばより大きい(又は小さい)視覚又は表示強度、異なる色、異なるサイズ)を有する第2の視覚インジケータを表示する。異なる視覚特性を有する視覚インジケータを表示することによりユーザに、デバイスの位置調整についての追加の視覚的フィードバックが提供される。向上した視覚的フィードバックを提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、また更に、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、カメラ(例えば1402)の焦点の平面(例えば1406)の第5の向きは、カメラ(例えば1402)の焦点の平面(例えば1406)の向きと所定の向き(例えば1408)との、第1の相対差(例えば1412)を有する。いくつかの実施形態では、カメラ(例えば1402)の焦点の平面(例えば1406)の第6の向きは、カメラ(例えば1402)の焦点の平面(例えば1406)の向きと所定の向き(例えば1408)との、第2の相対差(例えば1412)を有し、第2の相対差は、第1の相対差(例えば1412)より大きい(例えば、第6の向きが所定の向き(例えば1408)に対して、位置調整の更に外にある)(例えば水平である)。いくつかの実施形態では、視覚特性は表示強度(例えば、最大表示強度に対するフェードの程度)である。いくつかの実施形態では、第1の値は第2の値より大きい(例えば、第1の視覚インジケータは、カメラの向きが所定の向き(例えば1408)に接近するときによりはっきりと表示され(例えば、さほどフェードしない)、カメラの向きが所定の向き(例えば1408)から離れると、視覚インジケータが共に溶暗するまで、よりフェードする)。カメラの向きが所定の向きに向けて移動すると向きガイドを向上させ、カメラの向きが所定の向きから離れて移動すると向きガイドをフェードさせることにより、ユーザには、向きガイドが表示される範囲内、又は範囲外でデバイスが移動されているという視覚的フィードバックが提供される。向上した視覚的フィードバックを提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、また更に、デバイスの電力使用が低下し電池寿命が向上する。
方法1500に関して上述した(例えば図15A~図15E)のプロセスの詳細は、上述した、及び後述する方法にもまた、類似の方法で適用可能であることに留意されたい。例えば、方法700、900、1100、1300、1700は、方法1500に関して上述した様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、様々な方法の中から、位置調整インタフェース、アフォーダンス、及び制御の要素を組み合わせることができる。別の例として、方法1500のビューファインダは、方法700、900、1100、1300、1700のビューファインダと類似している。簡潔にするために、これらの詳細は、以下で繰り返さない。
図16Aは、デバイス1600を示す。いくつかの実施形態では、電子デバイス1600は、デバイス600のいくつか又は全ての構成要素を含む。いくつかの実施形態では、デバイス1600は、(例えば、電子デバイス1600の裏面に)複数のカメラ602及び603を含む。いくつかの実施形態ではデバイス1600は、デバイス100、300、及び/又は500の1つ以上の特徴を含む。いくつかの実施例では、電子デバイス(例えば、1600)は、固定されているが異なる焦点距離を有する複数のカメラを有する。いくつかの実施例では、複数のカメラは、電子デバイス(例えば1600)の前面、背面、又は両側にある。いくつかの実施形態では、異なる固定焦点距離を有することに加えて、複数のカメラは、異なる固定視野及び異なる固定光学倍率特性を有する。いくつかの実施形態では、カメラ(例えば、602)は、複数の焦点距離を使用して画像データをキャプチャする。いくつかの実施形態では、1つのカメラ(例えば、602)は、複数の焦点距離をキャプチャし、したがって、固定されているが異なる焦点距離を有する複数のカメラと同じ結果を生成する。いくつかの実施例では、電子デバイス(例えば1600)は、赤外線カメラ、自己温度計カメラ、又はこれらの組み合わせなどの深度カメラ(例えば1690)を含む。いくつかの実施例では、デバイスは、IRフラッド光、構造化光プロジェクタ、又はそれらの組み合わせなどの発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、可視光カメラ及び深度カメラ(例えば、IRカメラ)によって画像のキャプチャ中に対象を照らすために使用され、深度カメラ(例えば1690)及び可視光カメラからの情報は、可視光カメラによってキャプチャされた対象の異なる部分の深度マップを判定するために使用される。いくつかの実施形態では、本明細書に記載する照明効果は、後ろ向きの画像に対する2つのカメラ(例えば、2つの可視光カメラ)からの不一致情報、及び前向きの画像(例えば、セルフィ画像)に対する可視光カメラ)(例えば1692)からの画像データと組み合わせた深度カメラからの深度情報を使用して表示される。いくつかの実施形態では、2つの可視光カメラを使用して深度情報を判定するときと、深度カメラを使用して深度情報を判定するときに、同じユーザインタフェースが使用され、照明効果を生成するときに使用される情報を判定するために劇的に異なる技術を使用したときでも、一貫したエクスペリエンスをユーザに提供する。いくつかの実施形態では、照明効果のうちの1つが適用された状態でカメラユーザインタフェースを表示しながら、デバイスは、カメラ切り替えアフォーダンスの選択を検出し、前向きのカメラ(例えば、深度カメラ1690及び可視光カメラ1692)から後ろ向きのカメラ(例えば、互いから隔置された2つの可視光カメラ)へ切り替え(又は逆も同様である)、照明効果を適用するためのユーザインタフェース制御の表示を維持しながら、前向きのカメラの視野から後ろ向きのカメラの視野へ表示を置き換える(又は逆も同様である)。
図16Aに示すように、電子デバイス1600は、タッチ感知性であるディスプレイ1604(例えばタッチスクリーン)を含み、ディスプレイは、カメラ(例えば602)から受信した画像データを表示する。いくつかの実施形態において、ディスプレイはタッチ感知面とは異なる。いくつかの実施例では、複数のカメラ(例えば、602及び603)は、電子デバイス(例えば1600)の前面、背面、又は両面に配置される。
図16Aは、ディスプレイ1604上にて、カメラ(例えば602)により画像をキャプチャするためのカメラアプリケーションユーザインタフェース1605を表示する電子デバイス1600を更に示す。カメラアプリケーションユーザインタフェース1605は、カメラ(例えば602又は603)の視野のライブプレビューを含む、デジタルビューファインダ1610を更に含む。いくつかの実施形態では、カメラはリアルタイムで、画像データと関連付けられた深度情報をキャプチャする。図16Aは、前景領域(例えば1608)に対象(例えば女性)、及び背景領域(例えば1609)にフェンスを含む視野の中で異なる深度レベルをキャプチャするカメラを更に示す。いくつかの実施例では、カメラ(例えば602)は、視野の中で3、4、5、10、20、又はそれ以上の深度レベルをキャプチャする。電子デバイス1600は、以下でより詳細に論じるとおり、デジタルビューファインダ(例えば1610)内に表示される画像データ(例えば1606)の表現にフィルタを適用する際に、様々な深度レベルを利用する。
更に、図16Aは、拡張状態でフィルタピッカユーザインタフェース1613を表示する電子デバイス1600を示す。フィルタピッカユーザインタフェース1613は、デジタルビューファインダ1610の縁部に沿って配置される。いくつかの実施例では、フィルタピッカユーザインタフェース(例えば1613)は、任意選択的に、デジタルビューファインダ(例えば1610)の上、下、左側、又は右側に表示される。いくつかの実施例では、フィルタピッカユーザインタフェース(例えば1613)は、1つ以上の行及び列に配置された、又は円形状の向きに配置された、フィルタの1つ以上の表現(例えば、視覚的効果の表現)を含む。
いくつかの実施例では、フィルタピッカユーザインタフェース(例えば1613)は、デジタルビューファインダに対応する任意の位置において表示される。いくつかの実施例では、フィルタピッカユーザインタフェース(例えば1613)は輪郭(例えば境界)により描かれ、デジタルビューファインダからフィルタピッカユーザインタフェースを区別する。いくつかの実施形態では、折りたたみ状態にあるとき、フィルタピッカユーザインタフェース(例えば1613)は透光(又は部分的に透光)であり、目視できる境界を有しない。結果として、いくつかの実施例では、フィルタピッカユーザインタフェース(例えば1613)は、デジタルビューファインダと混ざっている(例えば区別ができない)ように見える。
図16Aに示すように、電子デバイス1600は、視覚的効果に対応する1つ以上のフィルタ表現(例えば1614A、1614B、1614C、1614D、1614E)を含むフィルタピッカユーザインタフェース1613を表示する。いくつかの実施例では、フィルタピッカユーザインタフェース(例えば1613)は任意選択的に、ディスプレイに表示されていない追加のフィルタ表現を含む(例えば、これらは画面の外にある)。いくつかの実施例では、表示されないフィルタ表現は、電子デバイスが入力(例えばスワイプジェスチャ)を受信するときに表示され、これにより、フィルタ表現の、フィルタ容器(例えば1616)を通してのスクロールがもたらされる。
図16Aに更に示すように、いくつかの実施形態では、電子デバイス1600は、フィルタピッカユーザインタフェース(例えば1613)内にフィルタ表現1614Aを表示し、現在選択されている視覚的効果を示す。いくつかの実施形態では、フィルタ表現1614Aは、「自然光」照明効果フィルタに対応する。したがって、前景領域1608及び背景領域1609は、(例えば、シーンからの自然光を使用して)「自然光」照明効果フィルタを用いて表示される。図16Aの画像表現は、あらゆる合成光を使用せず示される(例えば模擬される)ため、シーンからの自然光は、対象(例えば顔、首、及び衣類)にて様々な陰影を作成する。いくつかの実施例では、照明効果に対応する可能なフィルタ表現(例えば1614A~1614E)は、「スタジオ光」照明効果、「輪郭光」照明効果、「ステージ光」照明効果、及び「ステージ光MONO」照明効果を含む。先述の照明効果は、画像データ(例えば1606)の表現に加えられたときに、ディスプレイ1604上に表示される画像データの表現の視覚特性に影響を及ぼす。
いくつかの実施形態では、電子デバイス1600が自然照明効果を適用するとき、合成照明は画像に加えられない(例えば、元の画像が表示される)。対照的に、スタジオ照明効果は、対象の周りに均一に配置された、複数の分離光点源(例えば、写真スタジオ内の光)のモデリングを含む(例えば、輝いた完全な照明効果を作成する)。輪郭照明効果は、対象の周囲に沿って配置される、複数の分離光点源のモデリングを含む(例えば、スリミング効果を作成する、対象の顔の側面、及び/又は対象の顎の上に陰影を作成する)。ステージ光照明効果は、対象の上に配置された、1つの分離点光源のモデリングを含む(例えば、スポットライト効果を作成する)。ステージ光MONO照明効果は、対象の上に配置された1つの分離点光源の、モノクロでのモデリングを含む(例えば、モノクロでスポットライト効果を作成する)。
いくつかの実施例では、電子デバイス(例えば1600)は、画像データの表現において対象の顔を検出する。したがって、電子デバイスは、照明効果を適用するときに、画像データの深度マップ情報、及び対応する顔の特徴を用いる。結果的に、照明効果は対象の顔の周りに、より正確に加えられ、特定の顔の特徴が、選択された照明効果に基づいて、異なって照明される(例えば、対象の顎及び/又は頬の骨の周りの陰影の増減)。いくつかの実施例では、画像データは、オブジェクトの深度輪郭を含む深度マップ情報を含む。結果的に、電子デバイスは輪郭データを使用して、対象の周りに照明効果をより正確に適用する。
図16Bに示すように、電子デバイス1600は、フィルタピッカユーザインタフェース(例えば1613)に対応する位置において、入力(例えばスワイプ1618)を受信する。図16Cに示すように、入力(例えばスワイプ1618)は、フィルタ表現(1614A~E)を、フィルタ容器1616を通してスクロールさせる。いくつかの実施形態では、入力(例えばスワイプ1618)に応じて、フィルタ表現は、フィルタピッカユーザインタフェース(例えば1613)の上部境界を横切り、左にスクロールする。いくつかの実施例では、1つのスワイプジェスチャは、フィルタ表現の増分スクロールをもたらす。いくつかの実施形態では、スクロールしたフィルタ表現の数は、スワイプジェスチャの大きさに依存する。したがって、いくつかの実施例では、長いスワイプは短いスワイプよりも、長いスクロールを引き起こす。
入力(例えば、1618スワイプ)に応じて、いくつかの実施形態において、電子デバイス1600は、タップ入力のディスプレイ1604上の位置に対応するフィルタ表現(例えば1614B)に対応する照明効果を適用する。いくつかの実施例では、入力はスワイプ、押圧及びホールド、又はそれぞれの強度閾値を上回る特性強度を有する入力である。いくつかの実施例では、フィルタ(1614A~1614F)の1つの表現にて検出した、それぞれの強度閾値を上回る特性強度を有する入力は任意選択的に、それぞれの強度閾値を上回る特性強度を有する入力の位置と関連付けられた、対応するフィルタ表現用の追加の機能性の表示をもたらす。
いくつかの実施形態では、追加の視覚的効果を、フィルタ表現(例えば1614B)に相当する照明効果を適用する前に、画像データ(例えば1606)の表現全体に適用してよい。例えば、ステージ照明フィルタを適用する前に、わずかな勾配フィルを画像データ(例えば1606)の表現に適用すること、フィルタなしから照明効果フィルタへのよりなめらかな遷移が可能になる。
図16C~図16Dは、図16Bで電子デバイスが入力(例えばスワイプ1618)を受信する結果、照明効果を徐々に適用する電子デバイス1600を示す。いくつかの実施形態では、新しく選択されたフィルタ表現1614Bに対応する照明効果を、ライブプレビューで画像データ(例えば1606)の表現に徐々に適用する。選択した照明効果が「スタジオ光」であるため、対応する視覚的効果は、前景領域1608内で対象に影響を及ぼす、複数の点光源を模擬する。結果的に、遷移段階の間(図16C)、フィルタ表現1614Bに対応する照明効果は、50%強度にてライブプレビューに加えられる。フィルタ表現1614Bに対応するフィルタは、図16Dにおいて完全に適用される(例えば100%)。いくつかの実施例では、遷移が完了するまで電子デバイス1600が照明効果を適用する間、フィルタは徐々に適用される(10%、25%、50%、75%)。いくつかの実施例では、電子デバイス1600が「スタジオ光」光効果を画像データの表現に適用するとき、背景領域(例えば1609)は完全に暗色化する。いくつかの実施形態では、電子デバイス1600が「スタジオ光」光効果を画像データの表現に適用するとき、背景領域(例えば1609)は完全に暗色化する。
図16C~16Dに示すように、カメラ(例えば602)によりキャプチャされた画像データが、画像データと関連付けられた深度マップ情報を含むため、電子デバイスは利用可能な深度マップ情報を使用することができ、画像データ1606の表現にて、様々な点光源の効果を模擬することができる。いくつかの実施形態では、同じ照明効果は、画像データと関連付けられた深度マップ情報に基づいて、前景領域と比較して背景領域では異なって加えられる。結果的に、前景の対象はより目立って現れ得、背景の対象は、暗色化効果により、さほど目立たないようになり得る。更に、図16Dに示すように、照明効果は光点源を模擬するため、深度マップ情報を使用して、前景領域(例えば1608)内の対象の顔に、様々な陰影をキャストする。図16Dに示すように、「スタジオ光」照明効果は複数の光点源を模擬するため、「自然光」照明効果と比較して、電子デバイス1600は深度マップ情報を使用して、対象の顔の陰影を少なくする。
いくつかの実施形態では、画像をキャプチャするときに、照明効果がプレビューのためにデジタルビューファインダに加えられる。いくつかの実施形態では照明効果は画像投稿キャプチャと関連付けられる。
図16Eに示すように、電子デバイスは、シャッターボタンアフォーダンス1630に対応する位置において、ジェスチャ(例えばタップ1632)を受信する。いくつかの実施形態では、ジェスチャ(例えばタップ1632)を受信したことに応じて、電子デバイス1600は、1つ以上のカメラ(例えば602及び603)の視野に対応する画像データをキャプチャし、電子デバイスは、現在選択されている(例えばアクティブ化されている)照明効果を画像データの表現に、関連付ける。照明効果が適用された、得られる画像は、電子デバイスのカメラロールに記憶され、(例えばアフォーダンス1634により表現されるように)カメラロールアプリケーションでのレビューのために利用可能となる。
図16Fに示すように、電子デバイス1600は入力(例えばタップ1620)を受信し、フィルタ(1614A~E)の表現を、フィルタ容器(例えば1616)を通してスクロールさせる。いくつかの実施形態では、フィルタ表現(例えば1614E)に対応するタップジェスチャ(例えば1620)に応じて、フィルタの表現は、フィルタピッカユーザインタフェース(例えば1613)の上部周辺部を交差して左にスクロールする。図16Fは、カメラロールアプリケーション(例えば1634)に対するアフォーダンスが外観を変化させ、最後にキャプチャした画像(例えば、図16Eでキャプチャしたスタジオ光画像)に対応させることを更に示す。いくつかの実施形態では、カメラロールアプリケーション(例えば1634)に対するアフォーダンスは、画像の表現に対応する捕獲画像のサムネイル表現として表示される。いくつかの実施形態では、カメラロールアプリケーション(例えば1634)に対するアフォーダンスは、画像の表現に対応する捕獲画像に似ていないサムネイルアイコンとして表示される。
図16Gは、図16Fのタップジェスチャ(例えば1620)の結果を示す。タップジェスチャに応じて、電子デバイス1600は「ステージ光MONO」照明効果モードに遷移する。図16Gに示すように、電子デバイス1600が「ステージ光MONO」モードにある間、位置調整ガイド1640が、ディスプレイ1604上に円として表示され、垂直の向きにわずかに離心して配置される。いくつかの実施形態では、位置調整ガイド(例えば1640)は、六角形、楕円形、又は三角形形状として表現される。いくつかの実施形態では、位置調整ガイドは、垂直及び水平の向きの両方において、ディスプレイ(例えば1604)の中央に配置される。いくつかの実施形態では、位置調整ガイド(例えば1640)は、垂直及び水平の向きの1つ又は両方において、離心してディスプレイ(例えば1604)上に配置される。
いくつかの実施形態では、位置調整ガイドを使用して、ユーザが、対象の体の一部分(例えば顔)を、デジタルビューファインダの特定の部分の中に位置調整するのを補助する。図16Fに示すように、電子デバイスが、特定の基準が満たされていない(例えば、対象の顔が位置調整ガイド1640内に適切に位置調整されていない)と判定するため、電子デバイスはメッセージ1622を表示して、ユーザに適切な行動を取るように促す。いくつかの実施形態では、電子デバイスが、適切な基準が満たされた(例えば、対象の顔が位置調整ガイドに適切に位置調整された、対象がデバイスから適切な距離にいる)と判定しない限り、照明効果は画像データ(例えば1606)の表現に加えられない。
図16Gに更に示すように、位置調整ガイド1640の外の領域は、位置調整ガイド1640の中の領域が無変化のままである間、わずかに陰影が付く。いくつかの実施形態では、位置調整ガイド(例えば1640)の外の領域には陰影が付かず、位置調整ガイド(例えば1640)の中の領域もまた、陰影が付かない。
図16Hは、デバイスに向かって数歩進み、対象の顔が位置調整ガイド1640内に適切に位置調整されたユーザを示す。図16Hに示すように、対象の顔が位置調整ガイド1640と適切に位置合わせさせるとき、位置調整ガイド(例えば1640)の外の領域は暗い色で陰影が付けられ、位置調整ガイド1640の中の領域は陰影が付かない(例えば、人工光が適用されない)。いくつかの実施形態では、暗い陰影は「ロックオン」インジケータとしての機能を果たし、ユーザに、選択された照明効果(例えばステージ光MONO)の基準が満たされたというインジケーションを提供する。いくつかの実施形態では、現在選択されている照明効果(例えばステージ光MONO)は、位置調整ガイド(例えば1640)内の領域に加えられる。いくつかの実施形態では、更なる基準(例えば、対象が電子デバイスから必要な距離にいる、照明条件)が、位置調整ガイドの外でより暗い陰影を生じさせるために満たされなければならない。
加えて、更に図16Hで示すように、ぼかし(例えばボケ;破線として示される)光学効果が、画像データ1606の表現全体(例えば、位置調整ガイド内の領域、及び位置調整ガイドのない領域の両方)に対して、画像データ1606の表現の背景(例えばフェンス)に加えられる。いくつかの実施形態では、ぼかし光学効果は、位置調整基準が満たされたときにディスプレイ(例えば1604)上に表示される画像データ(例えば1606)の表現の、異なる部分に不適切に加えられる。
いくつかの実施形態では、位置調整ガイド(例えば1640)は、背景の除去(例えばぼかし)が必要な別の(例えばステージ光MONOではない)照明効果にて表示される。
いくつかの実施例では、位置調整ガイドに対する条件が満たされない(例えば、対象の顔が位置調整ガイドと位置調整されていない、対象がデバイスからあまりにも遠く移動し、デバイスから適切な距離にいない、照明条件が正しくない)ときに、以前に加えられた照明効果が消えてしまう(例えば、図16Gに示す用に、位置調整ガイドの外に、電子デバイスはわずかに暗色化を戻す/又は全く暗色化を戻さない)。いくつかの実施形態では、任意選択的に照明効果フィルタの一部である、一時的なフィルタ(例えば傾斜)を、暗い陰影が消えるときに画像表現に適用する。一時フィルタは、陰影が再適用されたときに遷移をスムーズにする(例えば、より調和する)のに役立つ。
図16Hに更に示すように、電子デバイス1600は、シャッターボタンアフォーダンス1630に対応する位置において、ジェスチャ(例えばタップ1636)を受信する。いくつかの実施形態では、ジェスチャ(例えばタップ1636)を受信したことに応じて、電子デバイス1600は、1つ以上のカメラ(例えば602及び603)の視野に対応する画像データをキャプチャし、電子デバイスは、現在選択されている(例えばアクティブ化されている)照明効果を画像データの表現に関連付ける。このような実施形態では、照明効果が適用された、得られる画像は電子デバイスのカメラロール内に記憶され、(例えば、アフォーダンス1634で表現されるように)カメラロールアプリケーションでのレビューに利用可能である。いくつかの実施形態では、キャプチャの間に、照明効果がデジタルビューファインダに加えられなくても、照明効果はキャプチャ後に画像データに加えられる(例えば、捕獲画像は、デジタルビューファインダ内でユーザに見られるものとは異なって現れる)。
図16Iに示すように、電子デバイスは、フォトビューワアプリケーション(例えば1634)に対応する位置において、入力(例えばタップ1645)を検出する。入力(例えば1645)を受信したことに応じて、図16Jに示すように、電子デバイス1600は画像ビューモード(例えば、カメラデータのライブプレビューではなく、以前にキャプチャした画像を見るためのモード)に切り替わる。
図16Jは、フォトビューワアプリケーション用のユーザインタフェースを示す。フォトビューワアプリケーションは、1628Cが最後のキャプチャ画像である、以前にキャプチャした画像(例えば1628A~1628C)のサムストリップを含む。いくつかの実施例では、以前にキャプチャした画像を、電子デバイス(例えば1600)に対応するカメラを使用してキャプチャした。いくつかの実施例では、電子デバイス(例えば1600)は、リモートソース(例えばサーバ)から、以前にキャプチャした画像(例えば1628A~1628C)を受信し、任意選択的に、以前にキャプチャした画像は異なる電子デバイス(例えば、1600ではない)によりキャプチャされた。
図16Jは、最後にキャプチャした画像(例えば1628C)は、ステージ光MONO照明を使用してキャプチャされたことを更に示す。「ステージ光MONO」照明効果は、1つの点光源を模擬し、結果的にスポットライト効果に似る。深度マップ情報を使用して、前景領域(例えば1608)の対象の上から、電子デバイス1600は「ステージ光MONO」効果を適用する。いくつかの実施例では、点光源を模擬して、あらゆる方向から開始してよい。いくつかの実施例では、「ステージ光MONO」効果を模擬して前から開始し、結果的に特定の焦点(例えば顔)が強調されるが、画像データの表現の残りの部分は暗色化される。図16Jに示すように、模擬点光源は対象の上から開始するため、電子デバイスは、画像データの深度マップ情報を使用して、対象(例えば顔及び首)に、より深い陰影をキャストすることができる。いくつかの実施形態では、画像の背景を取り除き、黒若しくは白、又はユーザが選択した色などの一体色で置き換えて、前景に対象の注意を更に引き、ユーザが一体の背景に対して写真撮影可能なスタジオ設定を模擬する。
いくつかの実施形態では、電子デバイスは、以前にキャプチャした画像データが深度マップ情報を含むことのユーザに対するインジケーションとして、ディスプレイの上部に「ポートレート」視覚インジケータ(例えば1638)を表示する。いくつかの実施例では、電子デバイス(例えば1600)は、視覚インジケータに対応する位置において入力を受信し、疑似的深度効果(例えばボケ)効果のオンオフを切り替える。いくつかの実施形態では、疑似的深度効果がオフに切り替わると、照明効果はそのままとなる。いくつかの実施例では、視覚インジケータはアクティベーションされたとき、疑似的深度効果及び照明効果を共に切り替える。いくつかの実施例では、電子デバイスは任意選択的に、入力を受信して、フィルタピッカユーザインタフェース(上述した)を用いて、フォトビューワアプリケーション内で照明効果を、異なる照明効果に変化させる。いくつかの実施例では、以前にキャプチャした画像データが深度マップ情報を有しない場合、電子デバイス(例えば1600)は、疑似的深度効果又は照明効果を適用するオプションを提供しない。いくつかの実施例では、以前にキャプチャした画像データが、画像データと関連付けられた深度マップ情報を有しない場合、電子デバイスは視覚インジケータ(例えば1638)を表示しない。
いくつかの実施例では、電子デバイス(例えば1600)は深度マップ情報をと画像データを、1つのファイルにして記憶する。いくつかの実施例では、電子デバイス(例えば1600)は深度マップ情報を画像データとは別に記憶する。いくつかの実施形態では、電子デバイスが、深度マップ情報と共に画像を、平坦な画像として(例えば、深度マップ情報なしで)記憶すると、電子デバイス(例えば1600)は、照明効果を画像データの表現に適用することができなくなる。
図17A~図17Gは、いくつかの実施形態に係る疑似的照明効果を画像データ(例えば1606)の表現に加え、電子デバイス(例えば1600)を使用して位置調整ガイド(例えば1640)を表示する方法を示すフローチャートである。方法1700は、1つ以上の入力デバイス(例えばタッチ感知面、キーボード、マウス)、1つ以上のカメラ(例えば、様々な焦点距離を有するカメラ、並びに/又は深度感知カメラ、及びカラー画像をキャプチャするカメラ)、並びにディスプレイ(例えば1604)を有するデバイス(例えば100、300、500、1700)にて実施される。いくつかの実施形態では、ディスプレイ(例えば1604)はタッチ感知ディスプレイである。いくつかの実施形態では、ディスプレイ(例えば1604)はタッチ感知ディスプレイではない。いくつかの実施形態では、電子デバイス(例えば1600)は複数のカメラを含む。いくつかの実施形態では、電子デバイス(例えば1600)は1つのカメラのみを有する。方法1700のいくつかの操作は任意選択的に組み合わされ、いくつかの操作の順序は任意選択的に変更され、いくつかの操作は任意選択的に省略される。
後述のように、方法1700は、特定の基準が満たされたときに位置調整ガイドを表示し、疑似的照明効果を画像データの表現に適用するための直観的方法を提供する。この方法は、機能に対応する入力を提供するユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが様々な機能をより高速かつより効率的に開始することを可能にすることにより、電力が節約され、バッテリ充電の間隔が増す。
ブロック1702において、電子デバイス(例えば1600)はディスプレイ(例えば1604)上に、深度マップ情報と関連付けられた画像データ(例えば1606)の表現を表示する(例えば、画像又は写真は、デバイスのディスプレイ(例えば1604)上に表示される)。いくつかの実施形態では、画像データのライブプレビューが、デジタルビューファインダ(例えば1610)に表示される。
いくつかの実施形態では、ブロック1704において、画像データの表現は、デジタルビューファインダ(例えば1610)に表示される1つ以上のカメラの視野内でキャプチャされる、画像データのライブプレビューである。
いくつかの実施形態では、ブロック1706において、画像データと関連付けられた深度マップ情報は、少なくとも3つの異なる深度レベル(例えば、少なくとも背景深度レベル、前景深度レベル、及び中間の深度レベル)に対応する情報を含む。3つ以上の異なる深度レベルを含む深度マップ情報はユーザに、深度特異的なフィルタを適用するためのフレームワークを提供し、ユーザに、カメラ(単数又は複数)の視野における、オブジェクトの深度位置決めについてのより正確なフィードバックを提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック1708において、画像データと関連付けられた深度マップ情報は、画像データの表現におけるオブジェクトの情報特定深度輪郭を含み、照明効果は、オブジェクトの輪郭の位置及び湾曲に基づいて、画像データの表現の外観を変化させる。深度マップ情報にオブジェクトの深度輪郭を含めることにより、デバイスがユーザに、カメラ(単数又は複数)の視野におけるオブジェクトの形状及び深度位置決めについての、より正確な視覚的フィードバックを提供することが可能となる。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。オブジェクトの輪郭の位置及び湾曲に基づいて、画像データの表現の外観を変化させることにより、外部照明装置を必要とすることなく、外部照明装置の使用を模擬する照明効果が生み出される。外部照明装置を必要とすることなくこれらの照明効果を生成することにより、明記された照明効果を用いて画像を生成するのに必要な装置のサイズ及びコストが低減する。
ブロック1710において、ディスプレイ(例えば1604)上で画像データの表現を表示しながら、電子デバイス(例えば1600)はブロック1712において、1つ以上の入力デバイスを介して、第1の入力(例えばスワイプ、タップ及びホールド、タップ(例えば1620)、ボタン押下)を検出し、ジェスチャは、深度マップ情報に基づいて(例えば、深度センサの測定に基づく、又は、異なる位置から同時に撮影した2つの画像の不一致マッピングに基づく)、複数の照明効果(例えば、段落[0499]以降で詳細に記載している、1つ以上の自然光、スタジオ光、輪郭光、ステージ光、ステージ光MONO)のそれぞれのフィルタを選択する照明フィルタを表現するアイコン(例えば、フィルタ表現1614A、1614B、1614C、1614D、1614E)(又は、フィルタを選択するために使用した別のユーザインタフェースシステム)の上部に存在することができる。画像データ(例えば1606)の表現を同時に表示し、フィルタ選択インタフェース(例えばフィルタピッカユーザインタフェース1613)を提供することによりユーザには、カメラの視野内のオブジェクト、及びプレビューに適用可能なフィルタについての視覚的フィードバックが提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック1714において、第1の入力は、第1の基準(例えば、一連の照明効果適用基準)が満たされている間に受信する入力であり、ここで、第1の基準は、第1の基準が満たされるために、電子デバイス(例えば1600)から所定の距離内にある視野で対象が検出される、という要件を含む。他の基準としては、第1カメラの焦点距離が最小距離閾値を超過すること、第1カメラの焦点距離が最大距離閾値を超過しないこと、デバイスからの所定の最小距離を超えて、対象が検出されること、検出された光の量が最小光閾値を超過すること、検出された光の量が最大光閾値を超過しないことのうちの任意の1つ以上が挙げられる。いくつかの実施形態では、第1の基準が満たされない場合、第1の照明効果又は第2の照明効果を適用することを取り止める。第1の入力が受信されたときに、所定の距離内に対象があることが判定されたときに照明効果を適用することによりユーザに、最適の(又は近似最適の)効果が、フィルタにより達成可能なように対象が適切に配置されているという視覚的フィードバックを提供する。同様に、対象が所定の距離の中にないときに、照明効果を適用しないことによって、ユーザには、対象が適切に配置されていないというフィードバックが提供され、修正処置が必要であることがユーザに示される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック1716において、第1の入力は、第1の基準が満たされていない間に受信する入力であり、ここで、第1の基準は、第1の基準が満たされるために、電子デバイス(例えば1600)から所定の距離内にある視野で対象が検出される、という要件を含み、方法は、外観の第1変化をライブプレビューに適用することなくライブプレビューを表示した後で、第1の基準が満たされたことを検出することと、第1の基準が満たされたとの検出に応じて、外観の第1の変化をライブプレビューに適用することと、を含む。いくつかの実施形態では、一連の他の条件としては、第1カメラの焦点距離が最小距離閾値を超過すること、第1カメラの焦点距離が最大距離閾値を超過しないこと、デバイスからの所定の最小距離を超えて、対象が検出されること、検出された光の量が最小光閾値を超過すること、検出された光の量が最大光閾値を超過しないことのうちの任意の1つ以上が挙げられる。いくつかの実施形態では、第1の基準が満たされない場合、第1の照明効果又は第2の照明効果を適用することを取り止める。第1の基準が満たされたときに照明効果を適用することによりユーザに、照明効果適用基準が満たされている(例えば、対象が適切に配置されている)、そして、最適の(又は近似最適の)効果が、フィルタを用いて達成可能であるという視覚的フィードバックを提供する。同様に、第1の基準が満たされないときに照明効果を適用しないことによってユーザには、第1の基準が満たされないというフィードバックが提供され、ユーザに、修正処置が必要であることが示される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
ブロック1710において、ディスプレイ(例えば1604)上に画像データの表現を表示する間に、電子デバイス(例えば1600)は、ブロック1718~1742の技術を任意選択的に実行する。
いくつかの実施形態では、ブロック1718において、第1の入力を検出したことに応じて、電子デバイス(例えば1600)は、対応するフィルタを使用して画像データをキャプチャする準備をする。
いくつかの実施形態では、ブロック1720において、対応する照明効果が第1の照明効果(例えばスタジオ光又は背景除去を含む別の照明効果)であるという判定に従って、電子デバイス(例えば1600)は、1つ以上のカメラの視野の中の対象が第1の基準(例えば、照明効果適用基準)(例えば、第1の基準が満たされたときに外観を変化させる位置調整ユーザインタフェース)を満たすときに、画像データの表現の一部の外観の第1変化を引き起こす第1の照明効果用のキャプチャユーザインタフェース(例えば、位置調整ガイド(例えば、1640))を表示する。
いくつかの実施形態では、ブロック1722において、対応する照明効果が第2の照明効果(例えば自然光、スタジオ光、若しくは輪郭光、又は背景除去を含まない別の照明効果)であるという判定に従って、電子デバイス(例えば1600)は、1つ以上のカメラの視野の中の対象が第1の基準(例えば、照明効果適用基準)を満たすときに、画像データの表現の一部の外観の第2変化を引き起こす第2の照明効果用のキャプチャユーザインタフェースを表示する。(例えば、3D照明効果のプレビュー。)
いくつかの実施形態では、ブロック1724において、第1の照明効果用のキャプチャユーザインタフェースを表示することは、画像データの表現、及び、画像データの表現内の第1領域にて表示される位置調整ガイド(例えば1640)(例えば円、楕円形、六角形)を同時に表示することを含み、ここで、第1の基準は、画像データの表現に表示された対象の面の表現が、第1の基準を満たすために位置調整ガイド(例えば1640)内にあるという要件を含む。いくつかの実施形態では、位置調整ガイド(例えば1640)は画像データの表現に重ね合わされる。いくつかの実施形態においては、ユーザは位置調整ガイド(例えば1640)内に、自身の体の一部(例えば顔)を位置調整する。いくつかの実施形態では、対象の顔は位置調整ガイド(例えば1640)の周辺部と位置調整される。いくつかの実施形態では、位置調整ガイド(例えば1640)はいくつかのモード(例えば縦長モード、スタジオ光)の間に表示されない。いくつかの実施形態では、位置調整ガイド(例えば1640)はライブプレビューの中心に配置される。いくつかの実施形態では、位置調整ガイド(例えば1640)は離心して配置される。いくつかの実施形態では、複数の対象が検出された場合、複数の位置調整ガイドがライブプレビューに表示される。画像データの表現内に位置調整ガイド(例えば1640)を表示することにより、ユーザに、所望の光学効果を有する画像をキャプチャするために、対象の顔をどこに配置するのかについての視覚的フィードバックが提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ブロック1726において、第1の基準は、第1の基準が満たされるために、(例えば、ユーザの顔がライブプレビューの位置調整ガイド(例えば1640)内で検出されるときに、)対象の面の表現が画像データの表現内の第1領域で検出される、という要件を含む。
いくつかの実施形態では、ブロック1728において、外観の第1変化を画像データに適用することは、画像データの表現内の第1領域に表示されるデータ表示の表現の外観と比較して、画像データの表現内の第2領域(例えば、位置調整ガイド(例えば1640)の外)に表示される画像データの表現の外観を変化させることを含み、ここで、第2領域は第1領域とは別個のものである(例えば、重なり合わない、個別である)。いくつかの実施形態では、第1領域に表示される画像データの表現と比較して、第2領域に表示される画像データの表現の外観を変化させることは、第2領域にフィルタ(例えば位置調整フィルタ)を適用することを含む。いくつかの実施形態では、位置調整フィルタは第1領域には適用されない。いくつかの実施形態では、位置調整フィルタは位置調整ガイド(例えば1640)の外の領域に均一に適用される。いくつかの実施形態では、位置調整フィルタは徐々に、強度が変化する(例えば、位置調整フィルタが位置調整ガイド(例えば1640)の縁部付近で適用される場合と比較して、ライブプレビューの縁部の近くでは暗く/明るくなる)。いくつかの実施形態では、位置調整フィルタは単一の光学効果(例えばボケ、彩度、色)である。いくつかの実施形態では、位置調整フィルタは複数の光学効果(例えばボケ、彩度、染料)を含む(例えば、これらの組み合わせである)。いくつかの実施形態では、複数の光学効果のそれぞれは、ライブプレビューの異なる部分に異なって加えられる。
いくつかの実施形態では、ブロック1732~1742において、電子デバイス(例えば1600)は、第1の基準が満たされていないことを判定し、第1の基準が満たされていない(例えば、電子デバイス(例えば1600)から所定の距離以内の視野で、対象が検出されない、顔が位置調整ガイド(例えば1640)内に位置調整されない)という判定に応じて、外観の第1変化を画像データの表現に適用することを中止し、ディスプレイ(例えば1604)上に、外観の第1変化を適用することなく、画像データ(例えば1606)の表現(例えば、フィルタなし、又は部分的にフィルタを適用した無変化画像)を表示し、ディスプレイ(例えば1604)上に、満たされていない照明条件適用基準のグラフィックインジケーションを表示する。いくつかの実施形態では、デバイスは、位置調整ガイド(例えば1640)内に顔を配置する命令(例えば、近く移動させる遠く移動させる)を表示する、いくつかの実施形態では、条件が再び満たされると、フィルタが再び適用される。
ブロック1710において、ディスプレイ(例えば1604)上に画像データの表現を表示する間に、電子デバイス(例えば1600)は、ブロック1744~1750の技術を更に実行する。
ブロック1744において、第1の入力を検出した後で、電子デバイス(例えば1600)は、1つ以上のカメラの視野に対応する画像データをキャプチャする要求に対応する、第2の入力(例えば1636)(例えばスワイプ、タップ及びホールド、タップ、ボタン押下:ジェスチャは、シャッターボタンを表現するアイコンの上部にあることができる)を検出する。
ブロック1746において、第1の入力に基づいて選択された対応する照明効果が、第1の照明効果(例えば、段落[0499]にて以下に詳述するように、自然光、スタジオ光、輪郭光、ステージ光、ステージ光MONOのうちの任意の1つ以上)であるという判定に従って、ブロック1748において、電子デバイス(例えば1600)は、1つ以上のカメラの視野に対応し、第1の照明効果を画像データ(例えば1606)の表現と関連付ける(例えば、第1の照明効果を画像データに適用する、第1の照明効果を画像データに適用するための準備をする、又は、画像データのビューが要求されたときに、第1の照明効果がデフォルトで加えられる画像データとして、捕獲画像データを作成する)画像データをキャプチャし、ここで、第1の照明効果は深度マップ情報に基づいて、かつ(例えば、深度センサの測定に基づく、又は、異なる位置から同時に撮影する2つの写真の不一致マッピングに基づく)。深度マップ情報に基づいて、第1の照明効果を画像データ(例えば1606)の表現に適用することによりユーザに、深度マップ情報についての追加の視覚的フィードバックが提供される。例えば、第1の照明効果は、ユーザに、深度マップ情報に対応するオブジェクトの特別な向きについてのフィードバックを提供する、異なる位置、強度、又は種類(方向、周囲、点)における1つ以上の光源を含むことができる。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
ブロック1750において、第1の入力に基づいて選択された対応する照明効果が、第1の照明効果(例えば、段落[0499]にて以下に詳述するように、自然光、スタジオ光、輪郭光、ステージ光、ステージ光MONOのうちの任意の1つ以上)とは異なる第2の照明効果であるという判定に従って、電子デバイス(例えば1600)は、1つ以上のカメラの視野に対応し、第2の照明効果を画像データ(例えば1606)の表現と関連付ける(例えば、第2の照明効果を画像データに適用する、第2の照明効果を画像データに適用するための準備をする、又は、画像データのビューが要求されたときに、第2の照明効果がデフォルトで加えられる画像データとして、捕獲画像データを作成する)画像データをキャプチャし、ここで、第2の照明効果は深度マップ情報に基づく。(例えば、深度センサの測定に基づく、又は、異なる位置から同時に撮影された2つの画像の不一致マッピングに基づく。)深度マップ情報に基づいて、第2の照明効果を画像データ(例えば1606)の表現に適用することによりユーザに、深度マップ情報についての追加の視覚的フィードバックが提供される。例えば、第2の照明効果は、ユーザに、深度マップ情報に対応するオブジェクトの特別な向きについてのフィードバックを提供する、異なる位置、強度、又は種類(方向、周囲、点)における1つ以上の光源を含むことができる。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
ブロック1752において、1つ以上のカメラの視野に対応する画像データをキャプチャした後で、電子デバイス(例えば1600)は、第2の入力(例えば、カメラロールアフォーダンス(例えば1634)の選択、又はフォトビューワアプリケーションのアクティブ化)に応じてキャプチャされる画像データを表示する要求を受信する。
ブロック1754~1758において、第2の入力に応じて(例えば、アクティブ化されているシャッターアフォーダンスに応じて)キャプチャされる画像データを表示するという要求を受信したことに応じて、第1の照明効果が選択されている間に画像データがキャプチャされたという判定に従って、電子デバイス(例えば1600)は、第1の照明効果が適用された画像データ(例えば1606)の表現を表示し(例えば、ステージ光フィルタが適用された画像データの表現を表示し)、第2の照明効果(例えば、ステージ光ではない)が選択されている間に画像データがキャプチャされたという判定に従って、電子デバイス(例えば1600)は、第2の照明効果が適用された画像データ(例えば1606)の表現を表示する。
いくつかの実施形態では、第1の照明効果用のキャプチャユーザインタフェースを表示することは、電子デバイス(例えば1600)が、デジタルビューファインダ(例えば1610)に表示される画像データの表現に、第1の照明効果に基づいて、第1の基準が満たされているか否かに関係なく適用される、プレイスホルダフィルタを適用すること(例えば、背景をぼやけさせる、又は背景の彩度を減らすこと)を含む。プレイスホルダフィルタを適用することにより、よりスムーズでより直観的な(さほど混乱しない)、照明フィルタへの遷移がなされる。第1の基準が満たされているか否かに関係なくプレイスホルダフィルタを適用することによって、ユーザには、画像のどの部分が、前景(例えば1608)と比較して、背景(例えば1609)での深度マップの部分に対応するかなどの、ビューファインダコンテンツに対応する深度マップについての視覚的フィードバックが提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第1の入力に応じて、電子デバイス(例えば1600)はライブプレビューに、外観の第1変化をライブプレビューに適用することなく、プレイスホルダフィルタ(例えば背景のぼかし又は彩度減少)を適用し、第1の基準が満たされたとの検出に応じて、電子デバイス(例えば1600)は、プレイスホルダフィルタをライブプレビューに適用し続けながら、外観の第1変化をライブプレビューに適用する(例えば、プレイスホルダフィルタは深度マップ情報を考慮しない第1の照明効果の一部であるため、第1の基準が満たされているか否かに関係なく表示される)。第1の基準が満たされているか否かに関係なくプレイスホルダフィルタを適用することによって、ユーザには、画像のどの部分が、前景(例えば1608)と比較して、背景(例えば1609)での深度マップの部分に対応するかなどの、ビューファインダコンテンツに対応する深度マップについての視覚的フィードバックが提供される。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、画像データの表現を表示する間に、電子デバイス(例えば1600)はディスプレイ(例えば1604)上に、画像データが深度マップ情報を含むという視覚的インジケーション(例えば1638)を表示する。(例えば、「縦長モード」バッジが任意選択的に表示され、深度マップ情報の利用可能性を示す。)
いくつかの実施形態では、第1の照明効果又は第2の照明効果を適用する電子デバイス(例えば1600)は、デジタルビューファインダ(例えば1610)に表示されるデータ表示の表現に、画像データと関連付けられた深度マップ情報に基づいて、空間での1つ以上の光点源のシミュレーションを適用することを含む。照明オプションは、自然光、スタジオ光、輪郭光、ステージ光、及びステージ光MONOを含む。異なる照明効果は、画像データの深度マップに基づいて、空間に光源の1つ以上の点の結果をモデリングする(例えば、模擬する)。自然照明オプションは、画像に合成照明を加えない(例えば、元の画像が表示されるか、又は元の画像の一部が表示され、ぼかしが、元の効果の異なる部分に適用され、ボケ効果を模擬する)。スタジオ照明効果は、対象の周りに配置された光源の、複数の異なる点のモデリングを含む(例えば、光効果の輝いたフィルを作成する)。輪郭照明効果は、対象の周りのより少ない点に配置された光源の複数の異なる点をモデリングし、対象の顔に陰影を作成することを含む(例えば、スリミング効果を作成する、対象の顔の側面、及び/又は対象の顎の上に陰影を作成する)。ステージ光照明効果は、対象の上に配置された、1つの異なる点光源のモデリングを含む(例えば、スポットライト効果を作成する)。ステージ光MONO照明効果は、対象の上の周りに配置された、1つの異なる点光源の、モノクロでのモデリングを含む(例えば、モノクロでスポットライト効果を作成する)。いくつかの実施形態では、照明フィルタは点光源を模擬する。いくつかの実施形態では、上で詳述したとおり、第1の基準が満たされたときに照明効果が消える。いくつかの実施形態では、システムが顔を検出したとき、照明効果を適用するときに顔の特徴が考慮される。結果的に、対象の具体的な顔の特徴及び顔の形状に基づいて、照明効果が画像データの表現の外観を変化させる。点光源のシミュレーションを適用することにより、ユーザに、深度マップ情報のコンテンツの視覚的表現を提供し、デバイスがユーザに、カメラ(単数又は複数の視野におけるオブジェクトの形状及び深度位置決めについての視覚的フィードバックを提供することを可能にする。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援することにより、そして、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、)それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。ビューファインダ(例えば1610)に表示される画像データの表現に、1つ以上の光点源のシミュレーションを適用することにより、外部照明装置を必要とすることなく、外部照明装置の使用を模擬する照明効果が生み出される。外部照明装置を必要とすることなくこれらの照明効果を生成することにより、明記された照明効果を用いて画像を生成するのに必要な装置のサイズ及びコストが低減する。
いくつかの実施形態では、第1の照明効果が適用されている間に、電子デバイス(例えば1600)は、以前に加えられた視覚的効果の少なくとも1つの値を維持する。(例えば、ボケ、照明。)したがって、画像データの1つの表現において、照明効果とボケ効果を達成することが可能である。
いくつかの実施形態では、以前に加えられた視覚的効果はカラーフィルタである。
いくつかの実施形態では、第2の入力は、第1の照明効果が画像データ(例えば1606)の表現に加えられている間に受信した入力であり、ここで、第2の照明効果を適用することは、第1の照明効果と第2の照明効果の適用とを徐々に遷移することを含む。いくつかの実施形態では、徐々に遷移することは、第1の時間に100%1番目、0%2番目、第2の時間に90%1番目、10%2番目、などを含む。照明効果の間を徐々に遷移することにより、フィルタのオンオフ明滅により生み出されるユーザの注意散漫が低下し、これにより、ユーザを所望の写真を撮影することに集中させ、これにより、所望の写真をキャプチャするのに必要な入力数が減少し、写真の記憶のためのメモリ要件が低下する。所望の画像をキャプチャするために必要な入力数を減少させ、メモリ要件を低下させることにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
方法1700に関して上述した(例えば図17A~図17G)のプロセスの詳細は、上述した方法にもまた、類似の方法で適用可能であることに留意されたい。例えば、方法700、900、1100、1300、及び1500は、上述した、及び方法1700を参照した様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、様々な方法の中から、フィルタユーザインタフェース、アフォーダンス、及び制御の要素を組み合わせることができる。別の例として、方法1700のビューファインダは、方法700、900、1100、1300、1500のビューファインダと類似している。別の例としては、方法700に記載する第1のフィルタのプレビューは、ディスプレイ(例えば1604)上に表示されることができる。別の例としては、方法900に記載するとおり、第1の照明効果を画像データの表現に加えた結果を、ディスプレイ(例えば1604)上に表示することができる。別の例としては、方法1100に記載するとおり、第1の画像フィルタを画像データの前景領域に加えた結果を、ディスプレイ(例えば1604)上に表示することができる。別の例としては、方法1300に記載するとおり、一連のフィルタの中の複数のフィルタの表現を含むフィルタ選択インタフェースを表示することもまた、ディスプレイ(例えば1604)上に表示することができる。別の例としては、方法1500に記載のとおりに位置調整ガイドを表示することもまた、ディスプレイ(例えば1604)上に表示することができる。簡潔にするために、これらの詳細は繰り返されていない。
上述した情報処理方法での演算は、汎用プロセッサ(例えば、図1A、3、及び5Aに対して説明したように)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図17A~図17Gを参照して上述した操作は、図1A~1Bで示した構成要素によって、任意選択的に実装される。例えば、操作1702を表示すること、操作1712を検出すること、操作1720を表示すること、操作1722を表示すること、操作1724を表示すること、及び、操作1728を表示することは任意選択的に、イベントソータ170、イベント認識部180、及びイベント処理部190により実装される。イベントソータ170のイベントモニタ171は、タッチ感知ディスプレイ604上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136-1に配信する。アプリケーション136ー1のそれぞれのイベント認識部180は、イベント情報をそれぞれのイベント定義186と比較し、タッチ感知面上の第1の位置での第1の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部190をアクティブ化する。イベント処理部190は、アプリケーション内部状態192を更新するために、更新部176又はオブジェクト更新部177を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部190は、アプリケーションにより表示されるものを更新するために、対応するGUI更新部178にアクセスする。同様に、当業者には、図1A~1Bに示した構成要素に基づいて他の処理がどのように実施され得るかは明らかであろう。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。これらの実施形態は、本技術の原理、及びその実際の適用を最もよく説明するために、選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術及び様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるような、本開示及び例の範囲内に含まれるものとして理解されたい。
上述のように、本技術の一態様は、ユーザが求める内容又はユーザが関心を持つ可能性のある任意の他の内容に関するユーザへの配信を改善するために、種々のソースから入手可能なデータを収集及び使用することである。本開示は、いくつかの例において、この収集されたデータは、特定の人物を一意に特定する個人情報データ、又は特定の人物に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを想到している。そのような個人情報データとしては、人口統計データ、位置に基づくデータ、電話番号、電子メールアドレス、自宅の住所、又は任意の他の識別情報を挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、よりユーザの興味を引く対象のコンテンツを配信するために、個人情報データが使用されてもよい。したがって、そのような個人情報データの使用は、配信されるコンテンツの意図的な制御を可能にする。更には、ユーザに利益をもたらす、個人情報データに関する他の使用もまた、本開示によって想到される。
本開示は、そのような個人情報データの収集、分析、開示、転送、記憶、又は他の使用目的の責任を負うエンティティが、適切に規定されたプライバシーのポリシー及び/又はプライバシーの慣行に準拠すると更に想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。例えば、ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いて、共用又は販売されるべきではない。更には、そのような収集は、ユーザに告知して同意を得た後にのみ実施するべきである。加えて、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセス権を有する他者が、それらのプライバシーのポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じるであろう。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するように、ハードウェア要素及び/又はソフトウェア要素を提供することができると想到する。例えば、広告配信サービスの場合において、本技術は、ユーザが、サービスの登録の間、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することを可能とするように構成することができる。別の実施例では、ユーザは、対象のコンテンツ配信サービスに対して位置情報を提供しないことを選択してもよい。更に別の実施例では、ユーザは、正確な位置情報を提供しないが位置のゾーン情報の転送は許可することを選択してもよい。
それゆえ、本開示は、1つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものではあるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することもまた可能であることを想到している。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分が欠如することにより、実施不可能となるものではない。例えば、ユーザに関連付けられたデバイスによって要求されるコンテンツなどの非個人情報データ若しくは必要最小限の個人情報、コンテンツ配信サービスが入手可能な他の非個人情報、又は公的に入手可能な情報に基づいて嗜好を推測することによって、コンテンツを選択し、ユーザへ配信することができる。

Claims (18)

  1. 方法であって、
    1以上の入力デバイス及びディスプレイを有する電子デバイスにおいて、
    前記ディスプレイ上に、デジタルビューファインダに表示される1以上のカメラの視野内でキャプチャされる画像データのライブプレビューである画像データの表現を表示することと、
    前記ディスプレイ上に前記画像データの前記表現を表示する間に、
    一連の基準を満たすという判定に従って、前記画像データの前記表現に第1の画像フィルタを適用することと、
    前記画像データの前記表現の第1の領域に第1の視覚的修正を適用することと、
    前記一連の基準のうちの1以上の基準を満たさないという判定に従って、前記画像の前記表現に前記第1の画像フィルタを適用することを取り止めることと、
    前記画像データの前記表現の前記第1の領域に前記第1の視覚的修正とは異なる第2の視覚的修正を適用することと、
    前記一連の基準のうちの前記1以上の基準に対応する第1のグラフィックインジケーションを表示することであって、前記一連の基準は、前記第1の画像フィルタが前記画像データの前記表現に適用されるために必要とされる、表示することと、
    を含む、方法。
  2. 前記一連の基準を満たすという前記判定に従って、前記基準に対応する前記第1のグラフィックインジケーションを表示することを取り止めることをさらに含む、
    請求項1に記載の方法。
  3. 前記一連の基準は、前記1以上のカメラの前記視野内で対象が検出されたときに満たされる基準を含む、
    請求項1又は2に記載の方法。
  4. 前記一連の基準は、前記1以上のカメラから所定の距離以内で対象が検出されたときに満たされる基準を含む、
    請求項1~3の何れかに記載の方法。
  5. 前記一連の基準は、前記1以上のカメラにより検出された光の量が閾値を超えるときに満たされる基準を含む、
    請求項1~4の何れかに記載の方法。
  6. 前記一連の基準のうちの前記1以上の基準に対応する前記第1のグラフィックインジケーションは、前記1以上の基準を満たすために取るべき1以上の行動に対する指示を含む、
    請求項1~5の何れかに記載の方法。
  7. 前記一連の基準のうちの前記1以上の基準に対応する前記第1のグラフィックインジケーションは、前記画像データの前記表現上に重なり合う、
    請求項1~6の何れかに記載の方法。
  8. 前記一連の基準を満たすという判定に従って、前記一連の基準が満たされたことを示す第2のグラフィックインジケーションを表示することをさらに含む、
    請求項1~7の何れかに記載の方法。
  9. 前記一連の基準のうちの前記1以上の基準を満さないという前記判定に従って、前記画像データの前記表現に、前記第1の画像フィルタとは異なる一時的なフィルタを適用することをさらに含む、
    請求項1~8の何れかに記載の方法。
  10. 前記画像データの前記表現に前記第1の画像フィルタを適用することは、
    前記第1の画像フィルタを前記画像データの前記表現の第1の部分に適用することと、
    前記第1の画像フィルタを前記画像データの前記表現の第2の部分に適用することを取り止めることであって、前記画像データの前記表現の前記第2の部分は、前記画像データの前記表現の前記第1の部分とは異なる、取り止めることと、
    を含む、
    請求項1~9の何れかに記載の方法。
  11. 前記一連の基準のうちの前記1以上の基準は、満たされない第1の基準と、満たされない第2の基準とを含み、前記第1のグラフィックインジケーションは、前記第1の基準に対応し、前記方法は、
    前記一連の基準の前記第1の基準を満たしたことを検出した後、前記一連の基準のうちの前記第2の基準を満たさないという判定に従って、
    前記第2の基準に対応する前記第1のグラフィックインジケーションとは異なる第2のグラフィックインジケーションを表示することをさらに含む、
    請求項1~10の何れかに記載の方法。
  12. 前記第1の視覚的修正は、第1のレベルの陰影を含む、
    請求項1~11の何れかに記載の方法。
  13. 前記第2の視覚的修正は、前記第1のレベルの陰影とは異なる第2のレベルの陰影を含む、
    請求項12に記載の方法。
  14. 前記第1のレベルの陰影は、前記第2のレベルの陰影よりも暗い、
    請求項13に記載の方法。
  15. 前記第1の画像フィルタは、キャプチャされた深度情報に基づいて適用され、前記一連の基準は、深度情報をキャプチャするために必要とされる、
    請求項1~14の何れかに記載の方法。
  16. 1以上のプログラムを記憶する非一時的コンピュータ可読記録媒体であって、前記1以上のプログラムは、1以上の入力デバイスとディスプレイを有する電子デバイスの1以上のプロセッサにより実行されるように構成され、前記1以上のプログラムは、請求項1~15の何れかに記載の方法を実行する方法を含む、非一時的コンピュータ可読記録媒体。
  17. 電子デバイスであって、
    1以上の入力デバイスと、
    1以上のカメラと、
    ディスプレイと、
    1以上のプロセッサと、
    前記1以上のプロセッサにより実行されるように構成された1以上のプログラムを記憶するメモリと、
    を備え、前記1以上のプログラムは、請求項1~15の何れかに記載の方法を実行する命令を含む、電子デバイス。
  18. 電子デバイスであって、
    1以上の入力デバイスと、
    1以上のカメラと、
    ディスプレイと、
    請求項1~15の何れかに記載の方法を実行するための手段と、
    を備えた、電子デバイス。
JP2023041079A 2017-06-04 2023-03-15 ユーザインタフェースカメラ効果 Active JP7483084B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024073909A JP2024105385A (ja) 2017-06-04 2024-04-30 ユーザインタフェースカメラ効果

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201762514947P 2017-06-04 2017-06-04
US62/514,947 2017-06-04
DKPA201770563 2017-07-10
DKPA201770563A DK201770563A1 (en) 2017-06-04 2017-07-10 USER INTERFACE CAMERA EFFECTS
US201762556414P 2017-09-09 2017-09-09
US62/556,414 2017-09-09
DKPA201770719A DK180859B1 (en) 2017-06-04 2017-09-22 USER INTERFACE CAMERA EFFECTS
DKPA201770719 2017-09-22
US15/728,147 US10528243B2 (en) 2017-06-04 2017-10-09 User interface camera effects
US15/728,147 2017-10-09
JP2022027861A JP7247390B2 (ja) 2017-06-04 2022-02-25 ユーザインタフェースカメラ効果

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022027861A Division JP7247390B2 (ja) 2017-06-04 2022-02-25 ユーザインタフェースカメラ効果

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024073909A Division JP2024105385A (ja) 2017-06-04 2024-04-30 ユーザインタフェースカメラ効果

Publications (3)

Publication Number Publication Date
JP2023101415A JP2023101415A (ja) 2023-07-20
JP2023101415A5 JP2023101415A5 (ja) 2023-10-23
JP7483084B2 true JP7483084B2 (ja) 2024-05-14

Family

ID=64459659

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2019566087A Active JP7033152B2 (ja) 2017-06-04 2018-01-26 ユーザインタフェースカメラ効果
JP2022027861A Active JP7247390B2 (ja) 2017-06-04 2022-02-25 ユーザインタフェースカメラ効果
JP2023041079A Active JP7483084B2 (ja) 2017-06-04 2023-03-15 ユーザインタフェースカメラ効果
JP2024073909A Pending JP2024105385A (ja) 2017-06-04 2024-04-30 ユーザインタフェースカメラ効果

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2019566087A Active JP7033152B2 (ja) 2017-06-04 2018-01-26 ユーザインタフェースカメラ効果
JP2022027861A Active JP7247390B2 (ja) 2017-06-04 2022-02-25 ユーザインタフェースカメラ効果

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024073909A Pending JP2024105385A (ja) 2017-06-04 2024-04-30 ユーザインタフェースカメラ効果

Country Status (7)

Country Link
US (4) US10528243B2 (ja)
EP (3) EP3616394B1 (ja)
JP (4) JP7033152B2 (ja)
KR (4) KR102596399B1 (ja)
CN (5) CN116661666A (ja)
AU (3) AU2022218463B2 (ja)
DK (1) DK180859B1 (ja)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11681422B2 (en) * 2010-02-16 2023-06-20 John W. Rowles Methods for a user selectable digital mirror
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
US11012636B2 (en) * 2016-06-22 2021-05-18 Intel Corporation Image/video capturing method and apparatus
JP1588677S (ja) * 2016-09-08 2017-10-23
USD860244S1 (en) * 2016-09-08 2019-09-17 Canon Kabushiki Kaisha Display screen with animated graphical user interface
USD820303S1 (en) 2016-10-27 2018-06-12 Apple Inc. Display screen or portion thereof with graphical user interface
USD815137S1 (en) 2016-10-27 2018-04-10 Apple Inc. Display screen or portion thereof with graphical user interface
KR102316024B1 (ko) * 2017-03-02 2021-10-26 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 사용자 인터페이스 표시 방법
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
USD819077S1 (en) * 2017-06-04 2018-05-29 Apple Inc. Display screen or portion thereof with icon
USD908728S1 (en) * 2017-08-22 2021-01-26 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD851111S1 (en) * 2017-09-09 2019-06-11 Apple Inc. Electronic device with graphical user interface
US11848899B2 (en) * 2017-11-17 2023-12-19 Ip Investment Holdings, Llc Electronic reader and method of operation
US10463307B2 (en) * 2018-01-12 2019-11-05 The Aga Khan University Anatomical-imaging communication device
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
USD847846S1 (en) * 2018-03-05 2019-05-07 Gaming and Content, LLC Display screen with graphical user interface
USD847847S1 (en) * 2018-03-05 2019-05-07 Gaming and Content, LLC Display screen with graphical user interface
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
CN108765537A (zh) * 2018-06-04 2018-11-06 北京旷视科技有限公司 一种图像的处理方法、装置、电子设备和计算机可读介质
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
USD998630S1 (en) 2018-10-11 2023-09-12 Masimo Corporation Display screen or portion thereof with a graphical user interface
US11406286B2 (en) 2018-10-11 2022-08-09 Masimo Corporation Patient monitoring device with improved user interface
USD1041511S1 (en) 2018-10-11 2024-09-10 Masimo Corporation Display screen or portion thereof with a graphical user interface
USD998631S1 (en) 2018-10-11 2023-09-12 Masimo Corporation Display screen or portion thereof with a graphical user interface
USD916135S1 (en) 2018-10-11 2021-04-13 Masimo Corporation Display screen or portion thereof with a graphical user interface
USD999246S1 (en) 2018-10-11 2023-09-19 Masimo Corporation Display screen or portion thereof with a graphical user interface
USD917564S1 (en) 2018-10-11 2021-04-27 Masimo Corporation Display screen or portion thereof with graphical user interface
USD917550S1 (en) 2018-10-11 2021-04-27 Masimo Corporation Display screen or portion thereof with a graphical user interface
US11218639B1 (en) * 2018-10-12 2022-01-04 Staples, Inc. Mobile interface for marking and organizing images
USD917529S1 (en) * 2018-10-23 2021-04-27 Yoox Net-A-Porter Group Spa Display screen with graphical user interface
US11146763B1 (en) * 2018-10-31 2021-10-12 Snap Inc. Artistic and other photo filter light field effects for images and videos utilizing image disparity
USD920373S1 (en) * 2018-12-21 2021-05-25 Mitsubishi Electric Corporation Display screen with graphical user interface
USD916890S1 (en) * 2018-12-31 2021-04-20 Andritz Inc. Display panel portion with a computer icon
KR102633221B1 (ko) * 2019-01-11 2024-02-01 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
CN111541840B (zh) * 2019-02-06 2022-03-22 佳能株式会社 确定照明效果候选的信息处理设备、方法及存储介质
USD956772S1 (en) * 2019-02-18 2022-07-05 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
KR102664688B1 (ko) * 2019-02-19 2024-05-10 삼성전자 주식회사 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법
USD915446S1 (en) * 2019-02-19 2021-04-06 Beijing Xiaomi Mobile Software Co., Ltd. Mobile phone with animated graphical user interface
USD914744S1 (en) * 2019-03-29 2021-03-30 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD915452S1 (en) * 2019-03-29 2021-04-06 Snap Inc. Display screen or portion thereof with a graphical user interface
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
USD913315S1 (en) * 2019-05-31 2021-03-16 Apple Inc. Electronic device with graphical user interface
USD956775S1 (en) * 2019-10-02 2022-07-05 Meta Platforms, Inc. Display screen with a graphical user interface
USD928181S1 (en) * 2019-10-21 2021-08-17 Troutwood, LLC Display screen or portion thereof with animated graphical user interface
USD927510S1 (en) * 2019-10-21 2021-08-10 Troutwood, LLC Display screen or portion thereof with animated graphical user interface
USD938442S1 (en) * 2020-03-20 2021-12-14 Vyaire Medical, Inc. Display screen with graphical user interface for communicating health-related messages regarding ventilated patients
USD967155S1 (en) * 2020-03-26 2022-10-18 Panasonic Intellectual Property Corporation Of America Display screen with graphical user interface
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
USD938982S1 (en) * 2020-06-12 2021-12-21 China-Germany(Zhuhai)Artificial Intelligence Institute Co., Ltd Mobile device with graphical user interface for shooting, modeling, and editing of scenes
US20210397751A1 (en) * 2020-06-19 2021-12-23 Apple Inc. Software initiated camera and microphone indicator
USD1030772S1 (en) * 2020-09-11 2024-06-11 Google Llc Display screen or portion thereof with a transitional graphical user interface
USD1024115S1 (en) * 2020-09-11 2024-04-23 Google Llc Display screen of portion thereof with a transitional graphical user interface
USD1038986S1 (en) * 2020-09-11 2024-08-13 Google Llc Display screen or portion thereof with a transitional graphical user interface
CN112114925B (zh) * 2020-09-25 2021-09-21 北京字跳网络技术有限公司 用于用户引导的方法、装置、设备和存储介质
CN112153288B (zh) * 2020-09-25 2023-10-13 北京字跳网络技术有限公司 用于发布视频或图像的方法、装置、设备和介质
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
USD977505S1 (en) * 2020-10-12 2023-02-07 Apple Inc. Display screen or portion thereof with animated graphical user interface
CN112304330B (zh) * 2020-10-29 2024-05-24 腾讯科技(深圳)有限公司 展示车辆的行驶状态的方法以及电子设备
CN112689088A (zh) * 2020-12-21 2021-04-20 维沃移动通信(杭州)有限公司 图像显示方法、装置和电子设备
USD992593S1 (en) * 2021-01-08 2023-07-18 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD992592S1 (en) * 2021-01-08 2023-07-18 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD1023040S1 (en) * 2021-03-22 2024-04-16 Hyperconnect Inc. Display screen or portion thereof with transitional graphical user interface
USD983819S1 (en) * 2021-03-26 2023-04-18 Beijing Xiaomi Mobile Software Co., Ltd. Display screen or portion thereof with graphical user interface
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
USD1013716S1 (en) * 2021-04-01 2024-02-06 Instasize, Inc. Display screen or portion thereof with a graphical user interface
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11845347B2 (en) 2021-05-12 2023-12-19 David Alan Copeland Precision charging control of an untethered vehicle with a modular vehicle charging roadway
CN116156314A (zh) * 2021-05-31 2023-05-23 荣耀终端有限公司 一种视频拍摄方法及电子设备
US12112024B2 (en) * 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
US20230143133A1 (en) * 2021-11-10 2023-05-11 Meta Platforms, Inc. Intelligently enhancing media content items
USD1046903S1 (en) * 2022-07-01 2024-10-15 Igt Display screen or a portion thereof with a graphical user interface
CN117666859A (zh) * 2022-08-23 2024-03-08 脸萌有限公司 信息显示方法、装置、电子设备及存储介质
US20240221119A1 (en) * 2023-01-04 2024-07-04 Samsung Electronics Co., Ltd. Image-Filtering Interface
WO2024203227A1 (ja) * 2023-03-29 2024-10-03 富士フイルム株式会社 表示制御装置、表示制御方法、撮影システム及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211497A (ja) 2009-03-10 2010-09-24 Nikon Corp デジタルカメラおよび画像処理プログラム
JP2017069776A (ja) 2015-09-30 2017-04-06 カシオ計算機株式会社 撮像装置、判定方法及びプログラム

Family Cites Families (779)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
JPS58190931A (ja) 1982-04-30 1983-11-08 Olympus Optical Co Ltd オ−トストロボの露光適否表示装置
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
JPH0812318B2 (ja) 1988-02-19 1996-02-07 富士写真光機株式会社 カメラの夜景撮影装置
SU1610470A1 (ru) 1988-12-05 1990-11-30 Предприятие П/Я Г-4046 Устройство дл контрол работы видоискател - дальномера фотоаппарата
JPH02179078A (ja) 1988-12-28 1990-07-12 Olympus Optical Co Ltd 電子カメラ
US5557358A (en) 1991-10-11 1996-09-17 Minolta Camera Kabushiki Kaisha Camera having an electronic viewfinder for displaying an object image under different photographic conditions
US5463443A (en) 1992-03-06 1995-10-31 Nikon Corporation Camera for preventing camera shake
JP2813728B2 (ja) 1993-11-01 1998-10-22 インターナショナル・ビジネス・マシーンズ・コーポレイション ズーム/パン機能付パーソナル通信機
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JPH09116792A (ja) 1995-10-19 1997-05-02 Sony Corp 撮像装置
JPH09198224A (ja) 1995-11-13 1997-07-31 Internatl Business Mach Corp <Ibm> グラフィカル・ユーザ・インターフェース内で値を指定する方法および装置
US6621524B1 (en) 1997-01-10 2003-09-16 Casio Computer Co., Ltd. Image pickup apparatus and method for processing images obtained by means of same
US6262769B1 (en) 1997-07-31 2001-07-17 Flashpoint Technology, Inc. Method and system for auto rotating a graphical user interface for managing portrait and landscape images in an image capture unit
US6323846B1 (en) 1998-01-26 2001-11-27 University Of Delaware Method and apparatus for integrating manual input
US6148113A (en) 1998-02-03 2000-11-14 Micrografx, Inc. System for stimulating the depth of field of an image in two dimensional space and method of operation
JPH11355617A (ja) 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 画像表示器付きカメラ
US6268864B1 (en) 1998-06-11 2001-07-31 Presenter.Com, Inc. Linking a video and an animation
US6278466B1 (en) 1998-06-11 2001-08-21 Presenter.Com, Inc. Creating animation from a video
JP2000207549A (ja) 1999-01-11 2000-07-28 Olympus Optical Co Ltd 画像処理装置
JP2000244905A (ja) 1999-02-22 2000-09-08 Nippon Telegr & Teleph Corp <Ntt> 映像観察システム
US20060033831A1 (en) 1999-09-14 2006-02-16 Nikon Corporation Electronic still camera
US6677981B1 (en) 1999-12-31 2004-01-13 Stmicroelectronics, Inc. Motion play-back of still pictures comprising a panoramic view for simulating perspective
JP2001298649A (ja) 2000-02-14 2001-10-26 Hewlett Packard Co <Hp> タッチスクリーンを有するデジタル画像形成装置
JP3752951B2 (ja) 2000-03-01 2006-03-08 カシオ計算機株式会社 撮像装置および輝度分布表示方法
US6900840B1 (en) 2000-09-14 2005-05-31 Hewlett-Packard Development Company, L.P. Digital camera and method of using same to view image in live view mode
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
JP4608766B2 (ja) 2000-11-27 2011-01-12 ソニー株式会社 固体撮像素子の駆動方法、及びカメラ
JP2002175538A (ja) 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
JP3780178B2 (ja) 2001-05-09 2006-05-31 ファナック株式会社 視覚センサ
JP2003008964A (ja) 2001-06-27 2003-01-10 Konica Corp 電子カメラ
JP2003018438A (ja) 2001-07-05 2003-01-17 Fuji Photo Film Co Ltd 画像撮像装置
JP2003032597A (ja) 2001-07-13 2003-01-31 Mega Chips Corp 撮像再生システム、撮像装置、再生装置及び撮像再生方法
US6930718B2 (en) 2001-07-17 2005-08-16 Eastman Kodak Company Revised recapture camera and method
US6539177B2 (en) 2001-07-17 2003-03-25 Eastman Kodak Company Warning message camera and method
DE10152008B4 (de) 2001-10-22 2011-12-08 Zf Sachs Ag Hydraulische Kupplung mit einem Turbinentorsionsschwingungsdämpfer
CN1190053C (zh) 2002-02-04 2005-02-16 华为技术有限公司 一种通信设备的数据离线配置方法
JP3788942B2 (ja) 2002-02-22 2006-06-21 株式会社東芝 情報処理装置およびコンピュータの操作支援方法
JP4006347B2 (ja) 2002-03-15 2007-11-14 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
US7271838B2 (en) 2002-05-08 2007-09-18 Olympus Corporation Image pickup apparatus with brightness distribution chart display capability
JP3977684B2 (ja) 2002-05-21 2007-09-19 株式会社東芝 デジタルスチルカメラ
JP2004015595A (ja) 2002-06-10 2004-01-15 Minolta Co Ltd デジタルカメラ
JP3754943B2 (ja) 2002-08-19 2006-03-15 キヤノン株式会社 画像処理方法、装置、記憶媒体及びプログラム
US7035462B2 (en) 2002-08-29 2006-04-25 Eastman Kodak Company Apparatus and method for processing digital images having eye color defects
JP2004128584A (ja) 2002-09-30 2004-04-22 Minolta Co Ltd 撮像装置
JP2004135074A (ja) 2002-10-10 2004-04-30 Calsonic Kansei Corp 撮像装置
KR100506199B1 (ko) 2002-11-11 2005-08-05 삼성전자주식회사 무선 모바일 단말기에서 인디케이터 표시 제어 방법
JP2003241293A (ja) 2002-12-16 2003-08-27 Fuji Photo Film Co Ltd リモコン装置付きカメラ
US7039222B2 (en) 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
JP3872041B2 (ja) 2003-06-24 2007-01-24 埼玉日本電気株式会社 カメラ付き携帯電話機およびその撮影停止方法ならびにプログラム
US9692964B2 (en) * 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
JP2005031466A (ja) 2003-07-07 2005-02-03 Fujinon Corp 撮像装置および撮像方法
US20050024517A1 (en) * 2003-07-29 2005-02-03 Xerox Corporation. Digital camera image template guide apparatus and method thereof
JP3926316B2 (ja) 2003-10-31 2007-06-06 松下電器産業株式会社 撮像装置
WO2005046221A1 (ja) 2003-11-11 2005-05-19 Seiko Epson Corporation 画像処理装置、画像処理方法、そのプログラムおよび記録媒体
JP4342926B2 (ja) 2003-12-24 2009-10-14 三菱電機株式会社 画像入力方法および画像入力装置
JP4387183B2 (ja) 2003-12-26 2009-12-16 京セラ株式会社 デジタルカメラ
JP2005269604A (ja) 2004-02-20 2005-09-29 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
WO2005084405A2 (en) 2004-03-03 2005-09-15 Virtual Iris Studios, Inc. System for delivering and enabling interactivity with images
TWI246847B (en) 2004-03-16 2006-01-01 Benq Corp Method and apparatus for improving quality of a scanned image through a preview operation
US7328411B2 (en) 2004-03-19 2008-02-05 Lexmark International, Inc. Scrollbar enhancement for browsing data
JP4446787B2 (ja) 2004-04-21 2010-04-07 富士フイルム株式会社 撮像装置、および表示制御方法
US7555717B2 (en) 2004-04-30 2009-06-30 Samsung Electronics Co., Ltd. Method for displaying screen image on mobile terminal
US8045009B2 (en) 2004-05-10 2011-10-25 Hewlett-Packard Development Company, L.P. Image-exposure systems and methods using detecting motion of a camera to terminate exposure
US20050270397A1 (en) 2004-06-02 2005-12-08 Battles Amy E System and method for indicating settings
JP4707368B2 (ja) 2004-06-25 2011-06-22 雅貴 ▲吉▼良 立体視画像作成方法および装置
WO2006053271A1 (en) 2004-11-12 2006-05-18 Mok3, Inc. Method for inter-scene transitions
US8537224B2 (en) 2005-01-31 2013-09-17 Hewlett-Packard Development Company, L.P. Image capture device having a shake metter
EP1852738A4 (en) 2005-02-03 2012-03-21 Nikon Corp DISPLAY DEVICE, ELECTRONIC APPARATUS AND CAMERA
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7427986B2 (en) 2005-03-03 2008-09-23 Pixar Hybrid hardware-accelerated relighting system for computer cinematography
KR100740189B1 (ko) 2005-05-13 2007-07-16 노키아 코포레이션 그래픽 사용자 인터페이스를 지닌 장치
JP2006345172A (ja) 2005-06-08 2006-12-21 Olympus Imaging Corp ファインダ装置及びカメラ
JP2007028211A (ja) 2005-07-15 2007-02-01 Canon Inc 撮像装置及びその制御方法
KR100630190B1 (ko) 2005-07-22 2006-10-02 삼성전자주식회사 이동 통신 단말의 기본화면 설정 방법
US8384763B2 (en) 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US7460730B2 (en) 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
EP1952624A4 (en) 2005-09-14 2011-03-23 Nokia Corp SYSTEM AND METHOD FOR IMPLEMENTING MOTION-CONTROLLED BRAKE MODE IMAGE STABILIZATION
US20070228259A1 (en) 2005-10-20 2007-10-04 Hohenberger Roger T System and method for fusing an image
JP4665718B2 (ja) 2005-10-28 2011-04-06 株式会社ニコン 撮影装置
US20070097088A1 (en) 2005-10-31 2007-05-03 Battles Amy E Imaging device scrolling touch pad with tap points
KR100725356B1 (ko) 2005-11-03 2007-06-07 삼성전자주식회사 컨텐츠를 동적으로 표현하는 장치 및 방법
JP4793179B2 (ja) * 2005-11-14 2011-10-12 オムロン株式会社 認証装置及び携帯端末
US20100066890A1 (en) 2005-12-06 2010-03-18 Panasonic Corporation Digital camera
US8223242B2 (en) 2005-12-06 2012-07-17 Panasonic Corporation Digital camera which switches the displays of images with respect to a plurality of display portions
CN101715060B (zh) 2005-12-06 2012-06-20 松下电器产业株式会社 数字相机、相机机身、相机系统及该数字相机的控制方法
US20100066895A1 (en) 2005-12-06 2010-03-18 Panasonic Corporation Digital camera
JP4956988B2 (ja) 2005-12-19 2012-06-20 カシオ計算機株式会社 撮像装置
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
JP5083855B2 (ja) 2006-01-30 2012-11-28 ソニー株式会社 撮影装置
US7792355B2 (en) 2006-03-30 2010-09-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image capturing apparatus
US20070248330A1 (en) 2006-04-06 2007-10-25 Pillman Bruce H Varying camera self-determination based on subject motion
JP5007523B2 (ja) * 2006-05-02 2012-08-22 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4457358B2 (ja) * 2006-05-12 2010-04-28 富士フイルム株式会社 顔検出枠の表示方法、文字情報の表示方法及び撮像装置
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
JP4483841B2 (ja) 2006-09-06 2010-06-16 カシオ計算機株式会社 撮像装置
US8106856B2 (en) * 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
JP2008096584A (ja) 2006-10-10 2008-04-24 Nikon Corp カメラ
WO2008047664A1 (fr) 2006-10-19 2008-04-24 Panasonic Corporation Dispositif de création d'image et procédé de création d'image
JP2008116823A (ja) 2006-11-07 2008-05-22 Nikon Corp カメラ
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
KR100835956B1 (ko) 2006-12-04 2008-06-09 삼성전자주식회사 이동통신 단말기의 이미지 처리 방법
EP2123038A2 (en) 2006-12-04 2009-11-25 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
US20080143840A1 (en) 2006-12-19 2008-06-19 Texas Instruments Incorporated Image Stabilization System and Method for a Digital Camera
KR100785071B1 (ko) 2007-02-08 2007-12-12 삼성전자주식회사 터치스크린을 갖는 휴대 단말기에서 터치 입력에 대한 정보표시 방법
JP2010520727A (ja) 2007-03-05 2010-06-10 フォトネーション ビジョン リミテッド 写真の目のアーチファクトの2段階検出
KR101406289B1 (ko) 2007-03-08 2014-06-12 삼성전자주식회사 스크롤 기반 아이템 제공 장치 및 방법
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
JP4760742B2 (ja) 2007-03-22 2011-08-31 カシオ計算機株式会社 デジタルカメラ、及び情報表示方法、情報表示制御プログラム
US9544563B1 (en) 2007-03-23 2017-01-10 Proximex Corporation Multi-video navigation system
EP1981262A1 (en) 2007-04-02 2008-10-15 Research In Motion Limited Camera with multiple viewfinders
US8253770B2 (en) 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
JP4954800B2 (ja) 2007-06-06 2012-06-20 オリンパス株式会社 顕微鏡撮像システム
US8185839B2 (en) 2007-06-09 2012-05-22 Apple Inc. Browsing or searching user interfaces and other aspects
US8068693B2 (en) 2007-07-18 2011-11-29 Samsung Electronics Co., Ltd. Method for constructing a composite image
US8717412B2 (en) 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
JP2009027298A (ja) 2007-07-18 2009-02-05 Ricoh Co Ltd 撮像装置および撮像装置の制御方法
JP5039786B2 (ja) 2007-07-23 2012-10-03 パナソニック株式会社 撮像装置
JP2009033469A (ja) 2007-07-26 2009-02-12 Olympus Imaging Corp 撮像装置
JP4845832B2 (ja) 2007-08-07 2011-12-28 キヤノン株式会社 撮像装置および制御方法
US20090046097A1 (en) 2007-08-09 2009-02-19 Scott Barrett Franklin Method of making animated video
KR101341095B1 (ko) 2007-08-23 2013-12-13 삼성전기주식회사 야경 환경에서 최적의 화질을 갖는 영상 획득 장치 및 방법
US11126321B2 (en) * 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
JP4930297B2 (ja) 2007-09-10 2012-05-16 株式会社ニコン 撮像装置
US8390628B2 (en) 2007-09-11 2013-03-05 Sony Computer Entertainment America Llc Facial animation using motion capture data
JP4466702B2 (ja) 2007-09-12 2010-05-26 カシオ計算機株式会社 撮像装置、及び撮像制御プログラム
JP4930302B2 (ja) 2007-09-14 2012-05-16 ソニー株式会社 撮像装置、その制御方法およびプログラム
US8381086B2 (en) 2007-09-18 2013-02-19 Microsoft Corporation Synchronizing slide show events with audio
CN101802705B (zh) 2007-10-15 2013-06-26 松下电器产业株式会社 相机本体和摄影装置
US8395661B1 (en) 2009-02-16 2013-03-12 Seektech, Inc. Pipe inspection system with selective image capture
JP2009111844A (ja) 2007-10-31 2009-05-21 Fujifilm Corp 撮影装置
US7391442B1 (en) 2007-11-01 2008-06-24 International Business Machines Corporation Digital camera including a distortion correction system
US8892999B2 (en) 2007-11-30 2014-11-18 Nike, Inc. Interactive avatar for social network services
US8207932B2 (en) 2007-12-26 2012-06-26 Sharp Laboratories Of America, Inc. Methods and systems for display source light illumination level selection
US8179363B2 (en) 2007-12-26 2012-05-15 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with histogram manipulation
KR101411910B1 (ko) 2008-01-04 2014-06-26 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US20130085935A1 (en) 2008-01-18 2013-04-04 Mitek Systems Systems and methods for mobile image capture and remittance processing
JP5036599B2 (ja) 2008-03-05 2012-09-26 株式会社リコー 撮像装置
JP4483962B2 (ja) 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
US20090251484A1 (en) 2008-04-03 2009-10-08 Motorola, Inc. Avatar for a portable device
JP4544332B2 (ja) 2008-04-07 2010-09-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US20090276700A1 (en) 2008-04-30 2009-11-05 Nokia Corporation Method, apparatus, and computer program product for determining user status indicators
JP4980982B2 (ja) 2008-05-09 2012-07-18 富士フイルム株式会社 撮像装置、撮像方法、合焦制御方法及びプログラム
JP5451593B2 (ja) 2008-06-09 2014-03-26 パナソニック株式会社 撮像装置、撮像方法
US20090319897A1 (en) 2008-06-20 2009-12-24 Microsoft Corporation Enhanced user interface for editing images
US8035728B2 (en) 2008-06-27 2011-10-11 Aptina Imaging Corporation Method and apparatus providing rule-based auto exposure technique preserving scene dynamic range
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5153512B2 (ja) 2008-08-08 2013-02-27 キヤノン株式会社 表示処理装置、表示処理方法、プログラム及び記憶媒体
CN101651775B (zh) 2008-08-14 2011-08-24 鸿富锦精密工业(深圳)有限公司 影像撷取装置及其曝光方法
US8930817B2 (en) 2008-08-18 2015-01-06 Apple Inc. Theme-based slideshows
JP5389576B2 (ja) 2008-09-10 2014-01-15 パナソニック株式会社 撮像装置
US9250797B2 (en) 2008-09-30 2016-02-02 Verizon Patent And Licensing Inc. Touch gesture interface apparatuses, systems, and methods
KR101555055B1 (ko) * 2008-10-10 2015-09-22 엘지전자 주식회사 이동단말기 및 그 디스플레이방법
JP2010117444A (ja) 2008-11-11 2010-05-27 Sigma Corp レンズ鏡筒
KR101450580B1 (ko) 2008-11-19 2014-10-14 삼성전자주식회사 이미지 합성 방법 및 장치
US8493408B2 (en) 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
JP4395808B2 (ja) 2008-12-04 2010-01-13 富士フイルム株式会社 画面表示部を有する機器の操作装置、デジタルカメラおよびタッチパネル操作方法
US20100153847A1 (en) 2008-12-17 2010-06-17 Sony Computer Entertainment America Inc. User deformation of movie character images
KR20100078295A (ko) 2008-12-30 2010-07-08 삼성전자주식회사 이종의 터치영역을 이용한 휴대단말의 동작 제어 방법 및 장치
JP2010160581A (ja) 2009-01-06 2010-07-22 Olympus Imaging Corp ユーザインタフェース装置、カメラ、ユーザインタフェース方法およびユーザインタフェース用プログラム
JP2010176170A (ja) 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
JP5185150B2 (ja) 2009-02-04 2013-04-17 富士フイルム株式会社 携帯機器および操作制御方法
CN102326133B (zh) 2009-02-20 2015-08-26 皇家飞利浦电子股份有限公司 用于使得设备进入活动模式的系统、方法和装置
US8532346B2 (en) 2009-03-11 2013-09-10 Sony Corporation Device, method and computer program product
JP5259464B2 (ja) 2009-03-13 2013-08-07 オリンパスイメージング株式会社 撮像装置およびそのモード切換え方法
US8542287B2 (en) 2009-03-19 2013-09-24 Digitaloptics Corporation Dual sensor camera
US9113124B2 (en) 2009-04-13 2015-08-18 Linkedin Corporation Method and system for still image capture from video footage
US20100277470A1 (en) 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US9144714B2 (en) 2009-05-02 2015-09-29 Steven J. Hollinger Ball with camera for reconnaissance or recreation and network for operating the same
US8669945B2 (en) 2009-05-07 2014-03-11 Microsoft Corporation Changing of list views on mobile device
JP5775659B2 (ja) * 2009-05-07 2015-09-09 オリンパス株式会社 撮像装置および撮像装置におけるモード切換え方法
JP5478935B2 (ja) 2009-05-12 2014-04-23 キヤノン株式会社 撮像装置
KR101857564B1 (ko) 2009-05-15 2018-05-15 삼성전자 주식회사 휴대 단말기의 이미지 처리 방법
JP5326802B2 (ja) 2009-05-19 2013-10-30 ソニー株式会社 情報処理装置、画像拡大縮小方法及びそのプログラム
US8340654B2 (en) 2009-05-26 2012-12-25 Lextech Labs Llc Apparatus and method for video display and control for portable device
US8610741B2 (en) 2009-06-02 2013-12-17 Microsoft Corporation Rendering aligned perspective images
CN101576996B (zh) 2009-06-05 2012-04-25 腾讯科技(深圳)有限公司 一种实现图像缩放中的处理方法及装置
KR101598335B1 (ko) 2009-06-11 2016-02-29 엘지전자 주식회사 휴대 단말기 및 그 동작방법
KR101527037B1 (ko) 2009-06-23 2015-06-16 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5552769B2 (ja) 2009-07-29 2014-07-16 ソニー株式会社 画像編集装置、画像編集方法及びプログラム
JP5404221B2 (ja) 2009-07-13 2014-01-29 キヤノン株式会社 撮像装置
US8723988B2 (en) 2009-07-17 2014-05-13 Sony Corporation Using a touch sensitive display to control magnification and capture of digital images by an electronic device
JP2011045039A (ja) 2009-07-21 2011-03-03 Fujifilm Corp 複眼撮像装置
JP2011028345A (ja) 2009-07-22 2011-02-10 Olympus Imaging Corp 条件変更装置、カメラ、携帯機器、およびプログラム
US8390583B2 (en) 2009-08-31 2013-03-05 Qualcomm Incorporated Pressure sensitive user interface for mobile devices
EP2480957B1 (en) 2009-09-22 2017-08-09 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US20110074830A1 (en) 2009-09-25 2011-03-31 Peter William Rapp Device, Method, and Graphical User Interface Using Mid-Drag Gestures
US8766928B2 (en) 2009-09-25 2014-07-01 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
JP2011087167A (ja) 2009-10-16 2011-04-28 Olympus Imaging Corp カメラ
JP5396231B2 (ja) 2009-10-21 2014-01-22 オリンパスイメージング株式会社 撮像装置
US8957918B2 (en) 2009-11-03 2015-02-17 Qualcomm Incorporated Methods for implementing multi-touch gestures on a single-touch touch surface
JP5343829B2 (ja) 2009-12-03 2013-11-13 株式会社リコー 情報処理装置及び情報処理装置の制御方法
JP5532214B2 (ja) 2009-12-11 2014-06-25 日本電気株式会社 カメラ付き携帯電話機
CN101860668A (zh) 2010-01-15 2010-10-13 英华达(上海)科技有限公司 数码相机及其操作方法
US8638371B2 (en) 2010-02-12 2014-01-28 Honeywell International Inc. Method of manipulating assets shown on a touch-sensitive display
JP4870218B2 (ja) 2010-02-26 2012-02-08 オリンパス株式会社 撮像装置
CN101778220A (zh) 2010-03-01 2010-07-14 华为终端有限公司 一种自动切换夜景模式的方法和摄像设备
US20110221755A1 (en) 2010-03-12 2011-09-15 Kevin Geisner Bionic motion
CN102202208A (zh) * 2010-03-23 2011-09-28 华为终端有限公司 一种信息交互方法及界面控制系统
JP4787906B1 (ja) 2010-03-30 2011-10-05 富士フイルム株式会社 撮像装置、方法およびプログラム
JP5719608B2 (ja) 2010-04-02 2015-05-20 オリンパスイメージング株式会社 撮影機器
FR2958487A1 (fr) 2010-04-06 2011-10-07 Alcatel Lucent Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video
US8874090B2 (en) 2010-04-07 2014-10-28 Apple Inc. Remote control operations in a video conference
US8405680B1 (en) 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
JP2011249887A (ja) 2010-05-24 2011-12-08 Canon Inc 撮像装置
US9245177B2 (en) 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
KR101666919B1 (ko) 2010-08-13 2016-10-24 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US10096161B2 (en) 2010-06-15 2018-10-09 Live Nation Entertainment, Inc. Generating augmented reality images using sensor and location data
WO2012001947A1 (ja) 2010-06-28 2012-01-05 株式会社ニコン 撮像装置、画像処理装置、画像処理プログラム記録媒体
US8885978B2 (en) 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
JP5464083B2 (ja) 2010-07-07 2014-04-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8619093B2 (en) 2010-07-20 2013-12-31 Apple Inc. Keying an image
US8421898B2 (en) 2010-07-27 2013-04-16 Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. Method for detecting and showing quality of a preview or stored picture in an electronic imaging device
US8781152B2 (en) 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
US8468465B2 (en) 2010-08-09 2013-06-18 Apple Inc. Two-dimensional slider control
JP5621422B2 (ja) 2010-09-07 2014-11-12 ソニー株式会社 情報処理装置、プログラム及び制御方法
KR101700363B1 (ko) 2010-09-08 2017-01-26 삼성전자주식회사 적절한 밝기를 갖는 입체 영상을 생성하는 디지털 영상 촬영 장치 및 이의 제어 방법
US20120069028A1 (en) 2010-09-20 2012-03-22 Yahoo! Inc. Real-time animations of emoticons using facial recognition during a video chat
US8830226B2 (en) 2010-09-28 2014-09-09 Apple Inc. Systems, methods, and computer-readable media for integrating a three-dimensional asset with a three-dimensional model
KR101743632B1 (ko) 2010-10-01 2017-06-07 삼성전자주식회사 휴대용 단말기에서 전자책 페이지 넘김 장치 및 방법
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
JP5613005B2 (ja) 2010-10-18 2014-10-22 オリンパスイメージング株式会社 カメラ
EP2630802B1 (en) 2010-10-22 2019-12-04 University of New Brunswick Camera imaging systems and methods
KR101674959B1 (ko) 2010-11-02 2016-11-10 엘지전자 주식회사 이동 단말기 및 이것의 영상 촬영 제어 방법
KR20120048397A (ko) 2010-11-05 2012-05-15 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP2012109898A (ja) 2010-11-19 2012-06-07 Aof Imaging Technology Ltd 撮影装置、撮影方法、およびプログラム
KR101716420B1 (ko) 2010-11-19 2017-03-27 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
JP2012119858A (ja) 2010-11-30 2012-06-21 Aof Imaging Technology Ltd 撮影装置、撮影方法、およびプログラム
JP2012124608A (ja) 2010-12-06 2012-06-28 Olympus Imaging Corp カメラ
CN102567953A (zh) * 2010-12-20 2012-07-11 上海杉达学院 图像光影效果处理装置
JP5652652B2 (ja) 2010-12-27 2015-01-14 ソニー株式会社 表示制御装置および方法
US20120169776A1 (en) 2010-12-29 2012-07-05 Nokia Corporation Method and apparatus for controlling a zoom function
CN102075727A (zh) 2010-12-30 2011-05-25 中兴通讯股份有限公司 一种可视电话中图像处理方法和装置
JP5717453B2 (ja) 2011-01-14 2015-05-13 キヤノン株式会社 撮像装置及び撮像装置の制御方法
KR101692401B1 (ko) 2011-01-21 2017-01-03 삼성전자주식회사 영상 처리 방법 및 장치
JP5246275B2 (ja) 2011-01-25 2013-07-24 株式会社ニコン 撮像装置およびプログラム
KR101836381B1 (ko) 2011-01-28 2018-03-08 삼성전자주식회사 터치스크린 단말기에서 화면 디스플레이 제어 방법 및 장치
US8717464B2 (en) 2011-02-09 2014-05-06 Blackberry Limited Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light
US9058098B2 (en) 2011-02-14 2015-06-16 Sony Corporation Display control device
TWI433534B (zh) 2011-02-15 2014-04-01 Ability Entpr Co Ltd 感光度校正方法及成像裝置
US8780140B2 (en) 2011-02-16 2014-07-15 Sony Corporation Variable display scale control device and variable playing speed control device
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US8896652B2 (en) 2011-02-28 2014-11-25 Soryn Technologies Llc System and method for real-time video communications
JP5250070B2 (ja) 2011-03-15 2013-07-31 富士フイルム株式会社 画像処理装置および画像処理方法、ならびに、画像処理システム
US8736704B2 (en) 2011-03-25 2014-05-27 Apple Inc. Digital camera for capturing an image sequence
US20120243802A1 (en) 2011-03-25 2012-09-27 William Vernon Fintel Composite image formed from an image sequence
US20120244969A1 (en) 2011-03-25 2012-09-27 May Patents Ltd. System and Method for a Motion Sensing Device
US8736716B2 (en) 2011-04-06 2014-05-27 Apple Inc. Digital camera having variable duration burst mode
JP5921080B2 (ja) 2011-04-28 2016-05-24 キヤノン株式会社 撮像装置及びその制御方法
JP5762115B2 (ja) 2011-04-28 2015-08-12 キヤノン株式会社 撮像装置及びその制御方法
KR101756839B1 (ko) 2011-05-17 2017-07-11 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US20140095122A1 (en) * 2011-05-23 2014-04-03 Blu Homes, Inc. Method, apparatus and system for customizing a building via a virtual environment
CN102855079B (zh) 2011-05-24 2016-06-08 Lg电子株式会社 移动终端
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US8832284B1 (en) 2011-06-16 2014-09-09 Google Inc. Virtual socializing
US9153031B2 (en) 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
JP5855862B2 (ja) 2011-07-07 2016-02-09 オリンパス株式会社 撮像装置、撮像方法およびプログラム
US9729780B2 (en) 2011-07-08 2017-08-08 Visual Retailing Holding B.V. Imaging apparatus and controller for photographing products
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
JP5516532B2 (ja) 2011-08-09 2014-06-11 カシオ計算機株式会社 電子機器、及びプログラム
US20130055119A1 (en) 2011-08-23 2013-02-28 Anh Luong Device, Method, and Graphical User Interface for Variable Speed Navigation
EP2562628A1 (en) 2011-08-26 2013-02-27 Sony Ericsson Mobile Communications AB Image scale alteration arrangement and method
JP5791433B2 (ja) * 2011-08-31 2015-10-07 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
JP2013070303A (ja) 2011-09-26 2013-04-18 Kddi Corp 画面への押圧で撮影が可能な撮影装置、撮影方法及びプログラム
US9001255B2 (en) 2011-09-30 2015-04-07 Olympus Imaging Corp. Imaging apparatus, imaging method, and computer-readable storage medium for trimming and enlarging a portion of a subject image based on touch panel inputs
US20130088413A1 (en) 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
KR101792641B1 (ko) 2011-10-07 2017-11-02 엘지전자 주식회사 이동 단말기 및 그의 아웃 포커싱 이미지 생성방법
US8830191B2 (en) 2011-10-17 2014-09-09 Facebook, Inc. Soft control user interface with touchpad input device
US9448708B1 (en) 2011-10-19 2016-09-20 Google Inc. Theming for virtual collaboration
US9696897B2 (en) * 2011-10-19 2017-07-04 The Regents Of The University Of California Image-based measurement tools
JP2013101528A (ja) 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
CN202330968U (zh) 2011-11-11 2012-07-11 东莞市台德实业有限公司 带拍照闪光的摄像头
JP5741395B2 (ja) 2011-11-16 2015-07-01 コニカミノルタ株式会社 撮像装置
CN105653031B (zh) 2011-11-23 2019-10-01 英特尔公司 带有多个视图、显示器以及物理学的姿势输入
GB2496893A (en) 2011-11-25 2013-05-29 Nokia Corp Presenting Name Bubbles at Different Image Zoom Levels
EP2600316A1 (en) 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation
US8767034B2 (en) 2011-12-01 2014-07-01 Tangome, Inc. Augmenting a video conference
CN102541537B (zh) * 2011-12-01 2014-12-31 厦门雅迅网络股份有限公司 一种具有环绕效果的菜单容器控件的实现方法及装置
US8941707B2 (en) 2011-12-01 2015-01-27 Tangome, Inc. Video messaging
US9626013B2 (en) 2011-12-05 2017-04-18 Sony Corporation Imaging apparatus
US20130147933A1 (en) 2011-12-09 2013-06-13 Charles J. Kulas User image insertion into a text message
US9207837B2 (en) 2011-12-20 2015-12-08 Nokia Technologies Oy Method, apparatus and computer program product for providing multiple levels of interaction with a program
US20130159900A1 (en) 2011-12-20 2013-06-20 Nokia Corporation Method, apparatus and computer program product for graphically enhancing the user interface of a device
US20130155308A1 (en) 2011-12-20 2013-06-20 Qualcomm Incorporated Method and apparatus to enhance details in an image
KR101873747B1 (ko) 2011-12-27 2018-07-03 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106961621A (zh) 2011-12-29 2017-07-18 英特尔公司 使用化身的通信
JP5854848B2 (ja) 2012-01-10 2016-02-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、記憶媒体
US9204099B2 (en) 2012-02-01 2015-12-01 Magor Communications Corporation Videoconferencing system providing virtual physical context
US8723796B2 (en) 2012-02-02 2014-05-13 Kodak Alaris Inc. Multi-user interactive display system
US8849028B2 (en) 2012-02-06 2014-09-30 Apple Inc. Color selection tool for selecting a custom color component
US10044938B2 (en) 2012-02-08 2018-08-07 Abukai, Inc. Method and apparatus for processing images of receipts
US8675113B2 (en) 2012-02-24 2014-03-18 Research In Motion Limited User interface for a digital camera
JP6041500B2 (ja) 2012-03-01 2016-12-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法、撮像システムの駆動方法
US8520019B1 (en) 2012-03-01 2013-08-27 Blackberry Limited Drag handle for applying image filters in picture editor
US9747495B2 (en) 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
JP6047587B2 (ja) * 2012-03-06 2016-12-21 アップル インコーポレイテッド メディア編集アプリケーション用の扇形編出ユーザインタフェースコントロール
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
EP2640060A1 (en) 2012-03-16 2013-09-18 BlackBerry Limited Methods and devices for producing an enhanced image
US20130246948A1 (en) 2012-03-16 2013-09-19 Lenovo (Beijing) Co., Ltd. Control method and control device
CN103324329B (zh) 2012-03-23 2016-07-06 联想(北京)有限公司 一种触摸控制方法和装置
US9264660B1 (en) 2012-03-30 2016-02-16 Google Inc. Presenter control during a video conference
US9357174B2 (en) 2012-04-09 2016-05-31 Intel Corporation System and method for avatar management and selection
CN107257403A (zh) 2012-04-09 2017-10-17 英特尔公司 使用交互化身的通信
JP2013219556A (ja) 2012-04-09 2013-10-24 Olympus Imaging Corp 撮像装置
US9785883B2 (en) 2012-04-27 2017-10-10 Excalibur Ip, Llc Avatars for use with personalized generalized content recommendations
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN104487928B (zh) * 2012-05-09 2018-07-06 苹果公司 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
CN103428416B (zh) 2012-05-18 2017-04-26 华为终端有限公司 一种自动切换终端对焦模式的方法及终端
CN104322050B (zh) * 2012-05-22 2020-04-28 株式会社尼康 电子相机、图像显示装置和记录介质
US10681304B2 (en) 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
US8842888B2 (en) * 2012-06-15 2014-09-23 Aoptix Technologies, Inc. User interface for combined biometric mobile device
KR101911133B1 (ko) 2012-06-21 2018-10-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 깊이 카메라를 이용한 아바타 구성
JP2014010777A (ja) 2012-07-02 2014-01-20 Fujitsu Ltd 表示プログラム、表示方法、及び情報処理装置
KR101937708B1 (ko) 2012-07-09 2019-04-11 삼성전자 주식회사 카메라 제어 시스템과 이를 포함하는 단말기 및 카메라 제어 방법
WO2014013529A1 (ja) 2012-07-20 2014-01-23 三菱電機株式会社 情報表示装置、表示切替方法および表示切替プログラム
US8780219B2 (en) 2012-07-23 2014-07-15 Wooblue, Inc. Wireless viewing and control interface for imaging devices
JP2014023083A (ja) 2012-07-23 2014-02-03 Nikon Corp 表示装置、撮像装置及び画像編集プログラム
US9019415B2 (en) 2012-07-26 2015-04-28 Qualcomm Incorporated Method and apparatus for dual camera shutter
KR101900097B1 (ko) 2012-07-30 2018-09-20 삼성전자주식회사 이미지 캡처 방법 및 이미지 캡처 장치
KR20140019631A (ko) 2012-08-06 2014-02-17 삼성전자주식회사 방사선 영상 촬영 장치 및 방법
TWI470598B (zh) 2012-08-07 2015-01-21 Wistron Corp 顯示調整方法及其電腦程式產品
KR20140021821A (ko) 2012-08-09 2014-02-21 삼성전자주식회사 이미지 캡처 장치 및 이미지 캡처 방법
US8910082B2 (en) * 2012-08-10 2014-12-09 Modiface Inc. Method and system for modification of digital images through rotational cascading-effect interface
US8957892B2 (en) 2012-08-20 2015-02-17 Disney Enterprises, Inc. Stereo composition based on multiple camera rigs
CN104583901B (zh) 2012-08-20 2019-10-01 爱维士软件私人有限公司 基于集合的多媒体数据的打包和显示方法及系统
US8928724B2 (en) 2012-08-31 2015-01-06 Microsoft Corporation Unified user experience for mobile calls
KR101343591B1 (ko) 2012-09-03 2013-12-19 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
US9602559B1 (en) 2012-09-07 2017-03-21 Mindmeld, Inc. Collaborative communication system with real-time anticipatory computing
US20140071061A1 (en) * 2012-09-12 2014-03-13 Chih-Ping Lin Method for controlling execution of camera related functions by referring to gesture pattern and related computer-readable medium
JP5999336B2 (ja) 2012-09-13 2016-09-28 カシオ計算機株式会社 撮像装置及び撮像処理方法並びにプログラム
KR101487516B1 (ko) 2012-09-28 2015-01-30 주식회사 팬택 연속 자동 초점을 이용한 멀티 초점 이미지 캡처 장치 및 방법
WO2014058144A1 (ko) 2012-10-10 2014-04-17 에스케이플래닛 주식회사 고속 스크롤 컨텐츠와 스크롤바 표시 방법 및 시스템
US20140123005A1 (en) 2012-10-25 2014-05-01 Apple Inc. User interface for streaming media stations with virtual playback
KR101984921B1 (ko) 2012-10-18 2019-05-31 엘지전자 주식회사 휴대 단말기의 동작 방법
CN103777742B (zh) 2012-10-19 2017-08-25 广州三星通信技术研究有限公司 用于在显示装置中提供用户界面的方法和显示装置
US10372765B2 (en) * 2012-10-24 2019-08-06 Signify Holding B.V. Assisting a user in selecting a lighting device design
US8762895B2 (en) 2012-10-28 2014-06-24 Google Inc. Camera zoom indicator in mobile devices
US9807263B2 (en) 2012-10-31 2017-10-31 Conduent Business Services, Llc Mobile document capture assistance using augmented reality
US9948589B2 (en) 2012-11-14 2018-04-17 invi Labs, Inc. System for and method of organizing contacts for chat sessions on an electronic device
US20150301731A1 (en) 2012-11-15 2015-10-22 Mitsubishi Electric Corporation User interface apparatus
KR101954192B1 (ko) 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
CN105556944B (zh) 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
AU2012258467A1 (en) 2012-12-03 2014-06-19 Canon Kabushiki Kaisha Bokeh amplification
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US9459768B2 (en) 2012-12-12 2016-10-04 Smule, Inc. Audiovisual capture and sharing framework with coordinated user-selectable audio and video effects filters
US9466142B2 (en) 2012-12-17 2016-10-11 Intel Corporation Facial movement based avatar animation
CN103051837A (zh) 2012-12-17 2013-04-17 广东欧珀移动通信有限公司 一种提高摄像头暗拍效果的方法和装置
KR101418552B1 (ko) 2012-12-20 2014-07-16 주식회사 팬택 디밍 상태를 위한 사용자 인터페이스 장치 및 그 방법
CN105144057B (zh) * 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
EP2939098B1 (en) 2012-12-29 2018-10-10 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US9264630B2 (en) 2013-01-04 2016-02-16 Nokia Technologies Oy Method and apparatus for creating exposure effects using an optical image stabilizing device
CN103051841B (zh) 2013-01-05 2016-07-06 小米科技有限责任公司 曝光时间的控制方法及装置
US8977077B2 (en) 2013-01-21 2015-03-10 Apple Inc. Techniques for presenting user adjustments to a digital image
US9270889B2 (en) 2013-01-25 2016-02-23 Htc Corporation Electronic device and camera switching method thereof
CN103093490B (zh) 2013-02-02 2015-08-26 浙江大学 基于单个视频摄像机的实时人脸动画方法
US10477087B2 (en) 2017-11-16 2019-11-12 Duelight Llc System, method, and computer program for capturing a flash image based on ambient and flash metering
KR20140108078A (ko) 2013-02-28 2014-09-05 삼성전자주식회사 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지를 생성하는 방법과 기기 및 장치
JP5729407B2 (ja) 2013-02-28 2015-06-03 カシオ計算機株式会社 撮像装置、表示制御方法及びプログラム
US9094576B1 (en) 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
US9342230B2 (en) 2013-03-13 2016-05-17 Microsoft Technology Licensing, Llc Natural user interface scrolling and targeting
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
KR102063915B1 (ko) 2013-03-14 2020-01-08 삼성전자주식회사 사용자 기기 및 그 동작 방법
US9886160B2 (en) 2013-03-15 2018-02-06 Google Llc Managing audio at the tab level for user notification and control
JP2014183425A (ja) 2013-03-19 2014-09-29 Sony Corp 画像処理方法、画像処理装置および画像処理プログラム
WO2014148395A1 (ja) 2013-03-21 2014-09-25 株式会社日立国際電気 映像監視システム、映像監視方法、および映像監視装置
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
WO2014160819A1 (en) 2013-03-27 2014-10-02 Bae Systems Information And Electronic Systems Integration Inc. Multi field-of-view multi sensor electro-optical fusion-zoom camera
KR102099635B1 (ko) 2013-04-09 2020-04-13 삼성전자 주식회사 카메라의 가이드 제공 방법 및 그 전자 장치
JP6034740B2 (ja) 2013-04-18 2016-11-30 オリンパス株式会社 撮像装置および撮像方法
IL226047A (en) 2013-04-29 2017-12-31 Hershkovitz Reshef May A method and system for giving personal expressions
EP2992692B1 (en) 2013-05-04 2018-08-29 DECHARMS, Christopher Mobile security technology
KR20140133363A (ko) 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
JP6244655B2 (ja) 2013-05-16 2017-12-13 ソニー株式会社 画像処理装置および画像処理方法
US9602796B2 (en) 2013-05-20 2017-03-21 Intel Corporation Technologies for improving the accuracy of depth cameras
KR20140138424A (ko) 2013-05-23 2014-12-04 삼성전자주식회사 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
US9307112B2 (en) 2013-05-31 2016-04-05 Apple Inc. Identifying dominant and non-dominant images in a burst mode capture
US20140355960A1 (en) 2013-05-31 2014-12-04 Microsoft Corporation Touch optimized design for video editing
US9589357B2 (en) 2013-06-04 2017-03-07 Intel Corporation Avatar-based video encoding
US9452354B2 (en) 2013-06-07 2016-09-27 Sony Interactive Entertainment Inc. Sharing three-dimensional gameplay
US9378576B2 (en) 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
US10168882B2 (en) * 2013-06-09 2019-01-01 Apple Inc. Device, method, and graphical user interface for switching between camera interfaces
JP6139713B2 (ja) 2013-06-13 2017-05-31 コアフォトニクス リミテッド デュアルアパーチャズームデジタルカメラ
US20140372856A1 (en) 2013-06-14 2014-12-18 Microsoft Corporation Natural Quick Functions Gestures
JP6173060B2 (ja) 2013-06-18 2017-08-02 オリンパス株式会社 撮影機器及びその制御方法
US9509913B2 (en) 2013-06-18 2016-11-29 Olympus Corporation Image pickup apparatus, method of controlling image pickup apparatus, image pickup apparatus system, and image pickup control program stored in storage medium of image pickup apparatus
JP2015005255A (ja) 2013-06-24 2015-01-08 シャープ株式会社 情報表示装置ならびにスクロール制御プログラムおよび方法、情報表示装置を用いた画像読取装置および情報表示装置を用いた画像形成装置
GB2515797A (en) 2013-07-04 2015-01-07 Sony Corp A method, apparatus and system for image processing
KR20150014290A (ko) 2013-07-29 2015-02-06 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
KR102101740B1 (ko) 2013-07-08 2020-04-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR102133529B1 (ko) 2013-07-16 2020-07-13 삼성전자주식회사 영상 필터 정렬 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 장치
US10079970B2 (en) 2013-07-16 2018-09-18 Texas Instruments Incorporated Controlling image focus in real-time using gestures and depth sensor data
US20160162039A1 (en) 2013-07-21 2016-06-09 Pointgrab Ltd. Method and system for touchless activation of a device
JP6102602B2 (ja) 2013-07-23 2017-03-29 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US20150033192A1 (en) 2013-07-23 2015-01-29 3M Innovative Properties Company Method for creating effective interactive advertising content
JP6288975B2 (ja) 2013-07-25 2018-03-07 オリンパス株式会社 撮影機器及びその制御方法
US10015308B2 (en) 2013-07-26 2018-07-03 Lg Electronics Inc. Mobile terminal and method of controlling the same
US9299188B2 (en) 2013-08-08 2016-03-29 Adobe Systems Incorporated Automatic geometry and lighting inference for realistic image editing
KR102047703B1 (ko) 2013-08-09 2019-11-22 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
CN104346080A (zh) 2013-08-09 2015-02-11 昆达电脑科技(昆山)有限公司 屏幕控制系统及其方法
US10289265B2 (en) 2013-08-15 2019-05-14 Excalibur Ip, Llc Capture and retrieval of a personalized mood icon
KR102065408B1 (ko) 2013-08-16 2020-01-13 엘지전자 주식회사 이동 단말기
US9881645B2 (en) 2013-08-20 2018-01-30 Google Llc Systems, methods, and media for editing video during playback via gestures
US9712756B2 (en) 2013-08-21 2017-07-18 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US8917329B1 (en) 2013-08-22 2014-12-23 Gopro, Inc. Conversion between aspect ratios in camera
US9804760B2 (en) 2013-08-22 2017-10-31 Apple Inc. Scrollable in-line camera for capturing and sharing content
CN104423946B (zh) 2013-08-30 2018-02-27 联想(北京)有限公司 一种图像处理方法以及电子设备
KR102124604B1 (ko) 2013-09-02 2020-06-19 삼성전자주식회사 이미지 안정화 방법 그 전자 장치
JP5769768B2 (ja) 2013-09-03 2015-08-26 オリンパス株式会社 撮像装置、撮像方法およびプログラム
JP5893594B2 (ja) 2013-09-03 2016-03-23 富士フイルム株式会社 画像表示制御装置、方法、プログラム及び画像表示システム
JP6476658B2 (ja) 2013-09-11 2019-03-06 ソニー株式会社 画像処理装置および方法
KR102077108B1 (ko) 2013-09-13 2020-02-14 한국전자통신연구원 콘텐츠 체험 서비스 제공 장치 및 그 방법
US10944917B2 (en) 2013-09-16 2021-03-09 Kyle L. Baltz Camera and image processing method
KR102065046B1 (ko) 2013-09-16 2020-01-10 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
WO2015038338A1 (en) 2013-09-16 2015-03-19 Thomson Licensing Browsing videos by searching multiple user comments and overlaying those into the content
US10811050B2 (en) 2013-09-17 2020-10-20 Google Technology Holdings LLC Highlighting media through weighting of people or contexts
US9460125B2 (en) 2013-09-30 2016-10-04 Duelight Llc Systems, methods, and computer program products for digital photography
US9544574B2 (en) 2013-12-06 2017-01-10 Google Inc. Selecting camera pairs for stereoscopic imaging
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
JP6234151B2 (ja) 2013-10-09 2017-11-22 キヤノン株式会社 撮像装置
KR102063768B1 (ko) 2013-10-16 2020-01-08 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
CN105829945B (zh) 2013-10-18 2019-04-09 光实验室股份有限公司 用于实施和/或使用摄影机设备的方法和装置
GB2519363A (en) * 2013-10-21 2015-04-22 Nokia Technologies Oy Method, apparatus and computer program product for modifying illumination in an image
JP6270413B2 (ja) * 2013-10-29 2018-01-31 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
CN108107571B (zh) 2013-10-30 2021-06-01 株式会社摩如富 图像处理装置及方法及非暂时性计算机可读记录介质
US10271010B2 (en) 2013-10-31 2019-04-23 Shindig, Inc. Systems and methods for controlling the display of content
JP6273782B2 (ja) 2013-11-07 2018-02-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9253527B2 (en) 2013-11-14 2016-02-02 Smiletime Inc Social multi-camera interactive live engagement system
WO2015073920A1 (en) * 2013-11-15 2015-05-21 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
JP5744161B2 (ja) 2013-11-18 2015-07-01 シャープ株式会社 画像処理装置
US10885227B2 (en) 2013-11-26 2021-01-05 CaffeiNATION Signings (Series 3 of Caffeination Series, LLC) Systems, methods and computer program products for managing remote execution of transaction documents
US20150149927A1 (en) 2013-11-27 2015-05-28 Facebook, Inc. Communication user interface systems and methods
US9246961B2 (en) 2013-11-27 2016-01-26 Facebook, Inc. Communication user interface systems and methods
KR20150061277A (ko) 2013-11-27 2015-06-04 삼성전자주식회사 영상 촬영 장치 및 이의 영상 촬영 방법
JP6432130B2 (ja) 2013-11-29 2018-12-05 カシオ計算機株式会社 表示システム、表示装置、撮影装置、表示方法及びプログラム
JP6247527B2 (ja) 2013-12-24 2017-12-13 キヤノン株式会社 撮像装置及び制御方法、プログラム、並びに記憶媒体
CN104754203B (zh) * 2013-12-31 2018-07-31 华为技术有限公司 拍摄方法、装置及终端
US9462169B2 (en) 2013-12-31 2016-10-04 Huawei Technologies Co., Ltd. Shooting method, apparatus, and terminal
US10931866B2 (en) 2014-01-05 2021-02-23 Light Labs Inc. Methods and apparatus for receiving and storing in a camera a user controllable setting that is used to control composite image generation performed after image capture
KR102114617B1 (ko) 2014-01-08 2020-05-25 엘지전자 주식회사 이동단말기 및 그 제어방법
US10606539B2 (en) 2014-01-23 2020-03-31 Apple Inc. System and method of updating a dynamic input and output device
WO2015115203A1 (ja) 2014-01-28 2015-08-06 ソニー株式会社 撮影装置、撮影方法、及び、プログラム
EP3100135A4 (en) 2014-01-31 2017-08-30 Hewlett-Packard Development Company, L.P. Camera included in display
US9207844B2 (en) 2014-01-31 2015-12-08 EyeGroove, Inc. Methods and devices for touch-based media creation
DE102014202490A1 (de) 2014-02-12 2015-08-13 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe
US9667860B2 (en) * 2014-02-13 2017-05-30 Google Inc. Photo composition and position guidance in a camera or augmented reality system
KR102243653B1 (ko) 2014-02-17 2021-04-23 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
DE102014102689A1 (de) 2014-02-28 2015-09-03 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Laufbildkameraanordnung und Verfahren zum Betreiben einer Laufbildkameraanordnung
US9703446B2 (en) 2014-02-28 2017-07-11 Prezi, Inc. Zooming user interface frames embedded image frame sequence
US9538078B2 (en) 2014-03-02 2017-01-03 Google Inc. User interface for wide angle photography
JP6490430B2 (ja) * 2014-03-03 2019-03-27 株式会社東芝 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US9313401B2 (en) 2014-03-04 2016-04-12 Here Global B.V. Frame rate designation region
US10235587B2 (en) 2014-03-04 2019-03-19 Samsung Electronics Co., Ltd. Method and system for optimizing an image capturing boundary in a proposed image
KR102257620B1 (ko) 2014-03-20 2021-05-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US20150277686A1 (en) * 2014-03-25 2015-10-01 ScStan, LLC Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format
CN106133796B (zh) 2014-03-25 2019-07-16 苹果公司 用于在真实环境的视图中表示虚拟对象的方法和系统
EP3128744A4 (en) 2014-03-27 2017-11-01 Noritsu Precision Co., Ltd. Image processing device
JP6646936B2 (ja) * 2014-03-31 2020-02-14 キヤノン株式会社 画像処理装置、その制御方法、およびプログラム
GB201407267D0 (en) 2014-04-24 2014-06-11 Cathx Res Ltd Underwater surveys
US9589321B2 (en) 2014-04-24 2017-03-07 Google Inc. Systems and methods for animating a view of a composite image
US10845982B2 (en) 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
JP6493395B2 (ja) * 2014-04-30 2019-04-03 ソニー株式会社 画像処理装置と画像処理方法
US10620700B2 (en) 2014-05-09 2020-04-14 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9507420B2 (en) * 2014-05-13 2016-11-29 Qualcomm Incorporated System and method for providing haptic feedback to assist in capturing images
US20150331550A1 (en) 2014-05-15 2015-11-19 Narvii Inc. Systems and methods implementing user interface objects
KR102158214B1 (ko) 2014-05-19 2020-09-22 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20150341536A1 (en) 2014-05-23 2015-11-26 Mophie, Inc. Systems and methods for orienting an image
US9628416B2 (en) 2014-05-30 2017-04-18 Cisco Technology, Inc. Photo avatars
US9313397B2 (en) 2014-05-30 2016-04-12 Apple Inc. Realtime capture exposure adjust gestures
US9185062B1 (en) 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9485540B2 (en) 2014-06-03 2016-11-01 Disney Enterprises, Inc. System and method for multi-device video image display and modification
US20150350504A1 (en) 2014-06-03 2015-12-03 2P & M Holdings, LLC RAW Camera Peripheral for Handheld Mobile Unit
US9360671B1 (en) 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
KR102182401B1 (ko) 2014-06-11 2020-11-24 엘지전자 주식회사 이동단말기 및 그 제어방법
US10091411B2 (en) 2014-06-17 2018-10-02 Lg Electronics Inc. Mobile terminal and controlling method thereof for continuously tracking object included in video
US9910505B2 (en) 2014-06-17 2018-03-06 Amazon Technologies, Inc. Motion control for managing content
US10579236B2 (en) 2014-06-20 2020-03-03 Ati Technologies Ulc Responding to user input including providing user feedback
US9213903B1 (en) 2014-07-07 2015-12-15 Google Inc. Method and system for cluster-based video monitoring and event categorization
US10074158B2 (en) 2014-07-08 2018-09-11 Qualcomm Incorporated Systems and methods for stereo depth estimation using global minimization and depth interpolation
US9641759B2 (en) 2014-07-10 2017-05-02 Lg Electronics Inc. Mobile terminal and controlling method thereof
CN104156149B (zh) 2014-07-18 2016-04-13 小米科技有限责任公司 拍摄参数调节方法及装置
US9785323B2 (en) * 2014-07-23 2017-10-10 Adobe Systems Incorporated Touch-based user interface control tiles
KR20160019145A (ko) 2014-08-11 2016-02-19 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102145542B1 (ko) 2014-08-14 2020-08-18 삼성전자주식회사 촬영 장치, 복수의 촬영 장치를 이용하여 촬영하는 촬영 시스템 및 그 촬영 방법
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
WO2016028808A1 (en) 2014-08-18 2016-02-25 Fuhu, Inc. System and method for providing curated content items
US9230355B1 (en) 2014-08-21 2016-01-05 Glu Mobile Inc. Methods and systems for images with interactive filters
KR102155094B1 (ko) 2014-08-28 2020-09-11 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN115665320B (zh) 2014-09-02 2024-10-11 苹果公司 电子设备、存储介质和用于操作电子设备的方法
KR20160029536A (ko) 2014-09-05 2016-03-15 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US10212111B2 (en) 2014-09-12 2019-02-19 Google Llc System and interface that facilitate selecting videos to share in a messaging application
US11472338B2 (en) 2014-09-15 2022-10-18 Magna Electronics Inc. Method for displaying reduced distortion video images via a vehicular vision system
KR102234709B1 (ko) 2014-09-15 2021-04-01 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP6252414B2 (ja) 2014-09-16 2017-12-27 カシオ計算機株式会社 図形表示装置、図形表示方法およびプログラム
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
EP3198560A4 (en) 2014-09-24 2018-05-09 Intel Corporation User gesture driven avatar apparatus and method
JP2016066978A (ja) 2014-09-26 2016-04-28 キヤノンマーケティングジャパン株式会社 撮像装置、その制御方法とプログラム
JP2016072965A (ja) 2014-09-29 2016-05-09 パナソニックIpマネジメント株式会社 撮像装置
US10361986B2 (en) 2014-09-29 2019-07-23 Disney Enterprises, Inc. Gameplay in a chat thread
US20160098094A1 (en) 2014-10-02 2016-04-07 Geegui Corporation User interface enabled by 3d reversals
KR102240302B1 (ko) 2014-10-21 2021-04-14 삼성전자주식회사 가상 피팅 장치 및 이의 가상 피팅 방법
KR102251483B1 (ko) 2014-10-23 2021-05-14 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
KR102225947B1 (ko) 2014-10-24 2021-03-10 엘지전자 주식회사 이동단말기 및 그 제어방법
CN106062862B (zh) 2014-10-24 2020-04-21 杭州凌感科技有限公司 用于沉浸式和交互式多媒体生成的系统和方法
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
US10365879B2 (en) 2014-11-05 2019-07-30 Lg Electronics Inc. Image output device, mobile terminal, and method for controlling a plurality of image output devices
US20160132201A1 (en) 2014-11-06 2016-05-12 Microsoft Technology Licensing, Llc Contextual tabs in mobile ribbons
CN105589637A (zh) 2014-11-11 2016-05-18 阿里巴巴集团控股有限公司 基于手势的缩放方法及装置
US9412169B2 (en) 2014-11-21 2016-08-09 iProov Real-time visual feedback for user positioning with respect to a camera and a display
KR101997500B1 (ko) 2014-11-25 2019-07-08 삼성전자주식회사 개인화된 3d 얼굴 모델 생성 방법 및 장치
CN107509037B (zh) 2014-11-28 2019-10-18 Oppo广东移动通信有限公司 使用不同视场角摄像头拍照的方法和终端
US20160173869A1 (en) 2014-12-15 2016-06-16 Nokia Corporation Multi-Camera System Consisting Of Variably Calibrated Cameras
JP6518069B2 (ja) 2015-01-09 2019-05-22 キヤノン株式会社 表示装置、撮像システム、表示装置の制御方法、プログラム、及び記録媒体
US9626589B1 (en) * 2015-01-19 2017-04-18 Ricoh Co., Ltd. Preview image acquisition user interface for linear panoramic image stitching
US9712751B2 (en) 2015-01-22 2017-07-18 Apple Inc. Camera field of view effects based on device orientation and scene content
US9767613B1 (en) 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
JP6152125B2 (ja) 2015-01-23 2017-06-21 任天堂株式会社 プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法
GB2534847A (en) 2015-01-28 2016-08-10 Sony Computer Entertainment Europe Ltd Display
JP6525611B2 (ja) 2015-01-29 2019-06-05 キヤノン株式会社 画像処理装置およびその制御方法
CN105991915B (zh) 2015-02-03 2020-06-09 中兴通讯股份有限公司 拍照的方法和装置以及终端
JP6525617B2 (ja) 2015-02-03 2019-06-05 キヤノン株式会社 画像処理装置およびその制御方法
CN105847670B (zh) 2015-02-04 2019-06-21 佳能株式会社 电子设备、摄像控制装置及其控制方法
US9979885B2 (en) 2015-02-09 2018-05-22 Steven Christopher Sparks Apparatus and method for capture of 360° panoramic video image and simultaneous assembly of 360° panoramic zoetropic video image
US10055887B1 (en) 2015-02-19 2018-08-21 Google Llc Virtual/augmented reality transition system and method
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9959623B2 (en) 2015-03-09 2018-05-01 Here Global B.V. Display of an annotation representation
WO2016145129A1 (en) 2015-03-09 2016-09-15 Ventana 3D, Llc Avatar control system
NZ773812A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
JP6642054B2 (ja) 2015-03-19 2020-02-05 株式会社デンソーウェーブ ロボット操作装置、及びロボット操作プログラム
US9852543B2 (en) 2015-03-27 2017-12-26 Snap Inc. Automated three dimensional model generation
JP2018514020A (ja) 2015-04-07 2018-05-31 インテル コーポレイション アバターキーボード
US10303973B2 (en) * 2015-04-15 2019-05-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
JP5802853B2 (ja) 2015-04-15 2015-11-04 グリー株式会社 表示データ作成方法、制御プログラム及びコンピュータ
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
CN106210550B (zh) 2015-05-06 2019-02-19 小米科技有限责任公司 模式调节方法及装置
CN104836947B (zh) 2015-05-06 2017-11-14 广东欧珀移动通信有限公司 一种图像拍摄方法和装置
KR20160131720A (ko) 2015-05-08 2016-11-16 엘지전자 주식회사 이동단말기 및 그 제어방법
CN106303690A (zh) 2015-05-27 2017-01-04 腾讯科技(深圳)有限公司 一种视频处理方法及装置
US9967467B2 (en) 2015-05-29 2018-05-08 Oath Inc. Image capture with display context
US10038838B2 (en) * 2015-05-29 2018-07-31 Hover Inc. Directed image capture
US10871868B2 (en) 2015-06-05 2020-12-22 Apple Inc. Synchronized content scrubber
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
KR20160146281A (ko) 2015-06-12 2016-12-21 삼성전자주식회사 전자 장치 및 전자 장치에서 이미지 표시 방법
US20160366323A1 (en) 2015-06-15 2016-12-15 Mediatek Inc. Methods and systems for providing virtual lighting
KR101751347B1 (ko) 2015-06-16 2017-07-11 엘지전자 주식회사 이동 단말기 및 이의 제어방법
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
US9652125B2 (en) 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
US20160370974A1 (en) 2015-06-22 2016-12-22 Here Global B.V. Causation of Expansion of a Supplemental Content Overlay
KR20170006559A (ko) 2015-07-08 2017-01-18 엘지전자 주식회사 이동단말기 및 그 제어방법
US20170018289A1 (en) 2015-07-15 2017-01-19 String Theory, Inc. Emoji as facetracking video masks
KR102399049B1 (ko) 2015-07-15 2022-05-18 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 처리 방법
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
KR102429427B1 (ko) 2015-07-20 2022-08-04 삼성전자주식회사 촬영 장치 및 그 동작 방법
CN105138259B (zh) 2015-07-24 2018-07-27 小米科技有限责任公司 操作执行方法及装置
KR101678861B1 (ko) 2015-07-28 2016-11-23 엘지전자 주식회사 이동단말기 및 그 제어방법
CN106412214B (zh) 2015-07-28 2019-12-10 中兴通讯股份有限公司 一种终端及终端拍摄的方法
JP6546474B2 (ja) 2015-07-31 2019-07-17 キヤノン株式会社 撮像装置およびその制御方法
KR102292985B1 (ko) 2015-08-10 2021-08-24 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102349428B1 (ko) 2015-08-12 2022-01-10 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자장치
CN106470336A (zh) 2015-08-17 2017-03-01 深圳富泰宏精密工业有限公司 相机色温补偿系统及智能终端
US9639945B2 (en) 2015-08-27 2017-05-02 Lytro, Inc. Depth-based application of image effects
US10397469B1 (en) 2015-08-31 2019-08-27 Snap Inc. Dynamic image-based adjustment of image capture parameters
US10334154B2 (en) 2015-08-31 2019-06-25 Snap Inc. Automated adjustment of digital image capture parameters
KR20170027052A (ko) 2015-09-01 2017-03-09 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
KR20170029837A (ko) 2015-09-08 2017-03-16 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20170029978A (ko) 2015-09-08 2017-03-16 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105245774B (zh) 2015-09-15 2018-12-21 努比亚技术有限公司 一种图片处理方法及终端
US9349414B1 (en) 2015-09-18 2016-05-24 Odile Aimee Furment System and method for simultaneous capture of two video streams
US20170094019A1 (en) 2015-09-26 2017-03-30 Microsoft Technology Licensing, Llc Providing Access to Non-Obscured Content Items based on Triggering Events
US10104282B2 (en) * 2015-09-30 2018-10-16 Ricoh Co., Ltd. Yaw user interface
US9769419B2 (en) 2015-09-30 2017-09-19 Cisco Technology, Inc. Camera system for video conference endpoints
US20170109912A1 (en) 2015-10-15 2017-04-20 Motorola Mobility Llc Creating a composite image from multi-frame raw image data
US10044927B2 (en) 2015-10-19 2018-08-07 Stmicroelectronics International N.V. Capturing a stable image using an ambient light sensor-based trigger
US20180288310A1 (en) 2015-10-19 2018-10-04 Corephotonics Ltd. Dual-aperture zoom digital camera user interface
US9686497B1 (en) 2015-10-29 2017-06-20 Crater Group Co. Video annotation and dynamic video call display for multi-camera devices
CN105430295B (zh) 2015-10-30 2019-07-12 努比亚技术有限公司 图像处理装置及方法
CN105338256A (zh) 2015-11-19 2016-02-17 广东欧珀移动通信有限公司 一种拍摄方法及装置
EP3358819B1 (en) 2015-11-25 2021-09-15 Huawei Technologies Co., Ltd. Photographing method, photographing device and terminal
US20170180811A1 (en) 2015-12-21 2017-06-22 Facebook, Inc. Systems and methods to optimize music access in a news feed
US20170178287A1 (en) 2015-12-21 2017-06-22 Glen J. Anderson Identity obfuscation
US10007990B2 (en) 2015-12-24 2018-06-26 Intel Corporation Generating composite images using estimated blur kernel size
CN105630290B (zh) 2015-12-24 2019-02-15 青岛海信电器股份有限公司 一种基于移动设备的界面处理方法和装置
CN105620393B (zh) 2015-12-25 2017-08-04 福建省汽车工业集团云度新能源汽车股份有限公司 一种自适应的车辆人机交互方法及其系统
CN106921829A (zh) 2015-12-25 2017-07-04 北京奇虎科技有限公司 一种拍照方法和装置及拍照设备
CN109889708B (zh) 2015-12-29 2021-07-06 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
CN105611215A (zh) 2015-12-30 2016-05-25 掌赢信息科技(上海)有限公司 一种视频通话方法及装置
US10194089B2 (en) 2016-02-08 2019-01-29 Qualcomm Incorporated Systems and methods for implementing seamless zoom function using multiple cameras
KR102445699B1 (ko) 2016-02-18 2022-09-21 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR20170097860A (ko) 2016-02-19 2017-08-29 삼성전자주식회사 디스플레이를 이용하여 이미지를 촬영하는 전자 장치 및 이미지 촬영 방법
KR20170098089A (ko) 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
CN107102499A (zh) 2016-02-22 2017-08-29 深圳富泰宏精密工业有限公司 多镜头系统及具有该多镜头系统的便携式电子装置
US20190051032A1 (en) 2016-02-24 2019-02-14 Vivhist Inc. Personal life story simulation system
GB2548154A (en) 2016-03-11 2017-09-13 Sony Computer Entertainment Europe Ltd Virtual reality
US10225471B2 (en) * 2016-03-18 2019-03-05 Kenneth L. Poindexter, JR. System and method for autonomously recording a visual media
CN108886576B (zh) 2016-03-23 2019-07-16 富士胶片株式会社 数码相机及数码相机的显示方法
US20170285916A1 (en) 2016-03-30 2017-10-05 Yan Xu Camera effects for photo story generation
US9990775B2 (en) 2016-03-31 2018-06-05 Verizon Patent And Licensing Inc. Methods and systems for point-to-multipoint delivery of independently-controllable interactive media content
KR20170112497A (ko) 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6445219B2 (ja) 2016-03-31 2018-12-26 富士フイルム株式会社 デジタルカメラ及びデジタルカメラの表示方法
US10187587B2 (en) 2016-04-13 2019-01-22 Google Llc Live updates for synthetic long exposures
JP6724982B2 (ja) 2016-04-13 2020-07-15 ソニー株式会社 信号処理装置および撮像装置
JP6323729B2 (ja) 2016-04-25 2018-05-16 パナソニックIpマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法
KR20170123125A (ko) 2016-04-28 2017-11-07 엘지전자 주식회사 이동단말기 및 그 제어방법
US10609093B2 (en) 2016-05-06 2020-03-31 Facebook, Inc. Instantaneous call sessions over a communications application
DK201670641A1 (en) 2016-05-18 2017-12-04 Apple Inc Devices, Methods, and Graphical User Interfaces for Messaging
WO2017201326A1 (en) 2016-05-18 2017-11-23 Apple Inc. Applying acknowledgement options in a graphical messaging user interface
US11112963B2 (en) 2016-05-18 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for messaging
CN114143464A (zh) 2016-05-20 2022-03-04 麦克赛尔株式会社 摄像装置及其设定画面
KR102440848B1 (ko) 2016-05-20 2022-09-06 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2017204596A1 (ko) 2016-05-26 2017-11-30 주식회사 시어스랩 얼굴 윤곽 보정 방법 및 장치
US9852768B1 (en) * 2016-06-03 2017-12-26 Maverick Co., Ltd. Video editing using mobile terminal and remote computer
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
DK179635B1 (en) 2016-06-12 2019-03-05 Apple Inc. USER INTERFACE FOR CAMERA EFFECTS
DK179754B1 (en) 2016-06-12 2019-05-08 Apple Inc. USER INTERFACE FOR CAMERA EFFECTS
DK179757B1 (en) 2016-06-12 2019-05-08 Apple Inc. User Interface for Camera Effects
JP6684158B2 (ja) 2016-06-13 2020-04-22 株式会社キーエンス 画像処理センサ、画像処理方法
US11794108B2 (en) 2016-06-13 2023-10-24 Sony Interactive Entertainment LLC Method and system for saving a snapshot of game play and used to begin later execution of the game play by any user as executed on a game cloud system
US10313605B2 (en) 2016-06-15 2019-06-04 Canon Kabushiki Kaisha Image processing apparatus and control method thereof for generating high dynamic range image data
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
KR102520225B1 (ko) 2016-06-30 2023-04-11 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 촬영 방법
US10179290B2 (en) 2016-07-21 2019-01-15 Sony Interactive Entertainment America Llc Method and system for accessing previously stored game play via video recording as executed on a game cloud system
CN106067947A (zh) 2016-07-25 2016-11-02 深圳市金立通信设备有限公司 一种拍照方法及终端
US20180035031A1 (en) * 2016-07-27 2018-02-01 Samsung Electro-Mechanics Co., Ltd. Camera module and portable electronic device including the same
US10572005B2 (en) 2016-07-29 2020-02-25 Microsoft Technology Licensing, Llc Private communication with gazing
US9955061B2 (en) 2016-08-03 2018-04-24 International Business Machines Corporation Obtaining camera device image data representing an event
US20180047200A1 (en) 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
WO2018049430A2 (en) 2016-08-11 2018-03-15 Integem Inc. An intelligent interactive and augmented reality based user interface platform
KR101926018B1 (ko) 2016-08-12 2018-12-06 라인 가부시키가이샤 동영상 녹화 방법 및 시스템
CN106161956A (zh) 2016-08-16 2016-11-23 深圳市金立通信设备有限公司 一种拍摄时预览画面的处理方法和终端
KR20180019392A (ko) 2016-08-16 2018-02-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10313652B1 (en) 2016-08-18 2019-06-04 Relay Cars LLC Cubic or spherical mapped content for presentation of pre-rendered images viewed from a fixed point of view in HTML, javascript and/or XML for virtual reality applications
KR102593824B1 (ko) 2016-08-31 2023-10-25 삼성전자주식회사 카메라를 제어하기 위한 방법 및 그 전자 장치
CN107800945A (zh) 2016-08-31 2018-03-13 北京小米移动软件有限公司 全景拍照的方法及装置、电子设备
US10771697B2 (en) 2016-09-06 2020-09-08 Apple Inc. Still image stabilization/optical image stabilization synchronization in multi-camera image capture
CN106303280A (zh) 2016-09-09 2017-01-04 广东欧珀移动通信有限公司 一种拍照补光方法、装置和终端
JP2018042198A (ja) 2016-09-09 2018-03-15 オリンパス株式会社 撮像装置及び撮像方法
CN106375662B (zh) 2016-09-22 2019-04-12 宇龙计算机通信科技(深圳)有限公司 一种基于双摄像头的拍摄方法、装置和移动终端
KR102257353B1 (ko) 2016-09-23 2021-06-01 애플 인크. 향상된 사용자 상호작용들에 대한 이미지 데이터
US10547776B2 (en) 2016-09-23 2020-01-28 Apple Inc. Devices, methods, and graphical user interfaces for capturing and recording media in multiple modes
WO2018057272A1 (en) 2016-09-23 2018-03-29 Apple Inc. Avatar creation and editing
WO2018057268A1 (en) 2016-09-23 2018-03-29 Apple Inc. Image data for enhanced user interactions
US10297034B2 (en) 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
US10536691B2 (en) 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
US10163008B2 (en) * 2016-10-04 2018-12-25 Rovi Guides, Inc. Systems and methods for recreating a reference image from a media asset
US10198171B2 (en) 2016-10-14 2019-02-05 Sap Se User interface control for smart range slider
KR102609464B1 (ko) 2016-10-18 2023-12-05 삼성전자주식회사 영상을 촬영하는 전자 장치
US10432559B2 (en) * 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10386999B2 (en) 2016-10-26 2019-08-20 Google Llc Timeline-video relationship presentation for alert events
US10180615B2 (en) 2016-10-31 2019-01-15 Google Llc Electrochromic filtering in a camera
US10432874B2 (en) 2016-11-01 2019-10-01 Snap Inc. Systems and methods for fast video capture and sensor adjustment
CN112738408B (zh) 2016-11-07 2022-09-16 斯纳普公司 图像修改器的选择性识别和排序
CN106791357A (zh) 2016-11-15 2017-05-31 维沃移动通信有限公司 一种拍摄方法和移动终端
CN106341611A (zh) 2016-11-29 2017-01-18 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106412445A (zh) 2016-11-29 2017-02-15 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106791377B (zh) 2016-11-29 2019-09-27 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
JP6765956B2 (ja) 2016-12-27 2020-10-07 キヤノン株式会社 撮像制御装置及びその制御方法
JP6873688B2 (ja) 2016-12-27 2021-05-19 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム
CN106791420B (zh) 2016-12-30 2019-11-05 深圳先进技术研究院 一种拍摄控制方法及装置
KR102289837B1 (ko) 2017-01-06 2021-08-17 삼성전자주식회사 촬영 방법 및 전자 장치
JP6748582B2 (ja) 2017-01-10 2020-09-02 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記録媒体
US10176622B1 (en) 2017-01-24 2019-01-08 Amazon Technologies, Inc. Filtering of virtual reality images to mitigate playback transformation artifacts
JP6789833B2 (ja) 2017-01-26 2020-11-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US10681286B2 (en) 2017-01-26 2020-06-09 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus, image processing method, and recording medium
US20180227482A1 (en) 2017-02-07 2018-08-09 Fyusion, Inc. Scene-aware selection of filters and effects for visual digital media content
US10630888B2 (en) 2017-02-09 2020-04-21 Samsung Electronics Co., Ltd. Method and apparatus for selecting capture configuration based on scene analysis
US9913246B1 (en) * 2017-02-10 2018-03-06 International Business Machines Corporation Intelligent notification redirection
KR20180095331A (ko) 2017-02-17 2018-08-27 엘지전자 주식회사 이동단말기 및 그 제어 방법
WO2018159864A1 (ko) 2017-02-28 2018-09-07 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
US10338897B2 (en) 2017-03-03 2019-07-02 Stratedigm, Inc. Visual protocol designer
KR102386398B1 (ko) 2017-03-17 2022-04-14 삼성전자주식회사 촬영 모드에 따라 이미지에 대한 표시자를 다르게 제공하는 방법 및 그 전자 장치
JP6456422B2 (ja) 2017-03-17 2019-01-23 株式会社Pfu サムネイル画像表示装置、サムネイル画像表示装置の制御方法及びコンピュータの制御プログラム
US20180278823A1 (en) 2017-03-23 2018-09-27 Intel Corporation Auto-exposure technologies using odometry
EP3602943A1 (en) 2017-03-24 2020-02-05 Intel IP Corporation Techniques to enable physical downlink control channel communications
KR102361885B1 (ko) 2017-03-28 2022-02-11 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
KR20180116574A (ko) 2017-04-17 2018-10-25 엘지전자 주식회사 이동 단말기
JP2018179911A (ja) 2017-04-20 2018-11-15 株式会社デンソー 測距装置及び距離情報取得方法
US10467775B1 (en) 2017-05-03 2019-11-05 Amazon Technologies, Inc. Identifying pixel locations using a transformation function
DK179867B1 (en) 2017-05-16 2019-08-06 Apple Inc. RECORDING AND SENDING EMOJI
CN111694485B (zh) 2017-05-16 2023-10-31 苹果公司 用于在用户界面之间导航的设备、方法和图形用户界面
KR102435337B1 (ko) 2017-05-16 2022-08-22 애플 인크. 이모지 레코딩 및 전송
CN110490093B (zh) 2017-05-16 2020-10-16 苹果公司 表情符号录制和发送
AU2018201254B1 (en) 2017-05-16 2018-07-26 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
DK179932B1 (en) 2017-05-16 2019-10-11 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR NAVIGATING, DISPLAYING, AND EDITING MEDIA ITEMS WITH MULTIPLE DISPLAY MODES
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10972672B2 (en) 2017-06-05 2021-04-06 Samsung Electronics Co., Ltd. Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths
US10218697B2 (en) 2017-06-09 2019-02-26 Lookout, Inc. Use of device risk evaluation to manage access to services
KR102351542B1 (ko) 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
US20190007589A1 (en) 2017-06-30 2019-01-03 Qualcomm Incorporated Camera initialization for multiple camera devices
US11051691B2 (en) 2017-07-31 2021-07-06 Vye, Llc Ocular analysis
CN108305317B (zh) 2017-08-04 2020-03-17 腾讯科技(深圳)有限公司 一种图像处理方法、装置及存储介质
KR102423175B1 (ko) 2017-08-18 2022-07-21 삼성전자주식회사 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
CN109891874B (zh) 2017-08-18 2020-12-15 华为技术有限公司 一种全景拍摄方法及装置
KR102338576B1 (ko) 2017-08-22 2021-12-14 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
CN107566721B (zh) 2017-08-30 2020-06-26 北京天耀宏图科技有限公司 一种信息显示方法、终端及计算机可读存储介质
WO2019047028A1 (zh) 2017-09-05 2019-03-14 广东欧珀移动通信有限公司 拍摄界面显示方法、装置及终端
WO2019050562A1 (en) 2017-09-09 2019-03-14 Apple Inc. GRAPHIC USER DEVICES, METHODS, AND USER INTERFACES FOR DISPLAYING BACKGROUND DEVICE
JP2019054461A (ja) 2017-09-15 2019-04-04 オリンパス株式会社 撮像装置および撮像方法
KR102385360B1 (ko) 2017-09-19 2022-04-12 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
CN111164647B (zh) 2017-10-04 2024-05-03 谷歌有限责任公司 使用单个相机估算深度
US10467729B1 (en) 2017-10-12 2019-11-05 Amazon Technologies, Inc. Neural network-based image processing
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
CN107770448A (zh) 2017-10-31 2018-03-06 努比亚技术有限公司 一种图像采集方法、移动终端和计算机存储介质
US10498971B2 (en) 2017-11-03 2019-12-03 Qualcomm Incorporated Systems and methods for high-dynamic range imaging
CN107820011A (zh) 2017-11-21 2018-03-20 维沃移动通信有限公司 拍照方法和拍照装置
US10645272B2 (en) 2017-12-04 2020-05-05 Qualcomm Incorporated Camera zoom level and image frame capture control
US20190205861A1 (en) 2018-01-03 2019-07-04 Marjan Bace Customer-directed Digital Reading and Content Sales Platform
US10630903B2 (en) 2018-01-12 2020-04-21 Qualcomm Incorporated Systems and methods for image exposure
JP7071137B2 (ja) 2018-01-26 2022-05-18 キヤノン株式会社 電子機器およびその制御方法
US10374994B1 (en) 2018-02-21 2019-08-06 King.Com Ltd. Messaging system
KR102661019B1 (ko) 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
CN108419030B (zh) 2018-03-01 2021-04-20 思特威(上海)电子科技股份有限公司 具有led闪烁衰减的hdr图像传感器像素结构及成像系统
CN108391053A (zh) 2018-03-16 2018-08-10 维沃移动通信有限公司 一种拍摄控制方法及终端
AU2018415738B2 (en) 2018-03-27 2021-10-28 Huawei Technologies Co., Ltd. Photographing Mobile Terminal
CN108549522A (zh) 2018-03-30 2018-09-18 深圳市万普拉斯科技有限公司 拍照设置方法、装置、移动终端和计算机可读存储介质
CN108513070B (zh) 2018-04-04 2020-09-04 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
US10643386B2 (en) 2018-04-11 2020-05-05 Zillow Group, Inc. Presenting image transition sequences between viewing locations
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870351A1 (en) 2018-05-07 2020-01-13 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US10482583B1 (en) 2018-05-10 2019-11-19 Google Llc Generating and displaying blur in images
CN108712609A (zh) 2018-05-17 2018-10-26 Oppo广东移动通信有限公司 对焦处理方法、装置、设备及存储介质
JP7272356B2 (ja) 2018-05-29 2023-05-12 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム
KR102597680B1 (ko) 2018-06-07 2023-11-03 삼성전자주식회사 맞춤형 화질 이미지를 제공하는 전자 장치 및 그 제어 방법
CN108848308B (zh) 2018-06-27 2019-12-31 维沃移动通信有限公司 一种拍摄方法及移动终端
CN108668083B (zh) 2018-07-24 2020-09-01 维沃移动通信有限公司 一种拍照方法及终端
KR102598109B1 (ko) 2018-08-08 2023-11-06 삼성전자주식회사 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법
CN110839129A (zh) 2018-08-17 2020-02-25 Oppo广东移动通信有限公司 图像处理方法、装置以及移动终端
CN109005366B (zh) 2018-08-22 2020-04-28 Oppo广东移动通信有限公司 摄像模组夜景摄像处理方法、装置、电子设备及存储介质
JP6427711B1 (ja) 2018-08-27 2018-11-21 京セラ株式会社 電子機器、方法及びプログラム
US11120528B1 (en) 2018-09-11 2021-09-14 Apple Inc. Artificial aperture adjustment for synthetic depth of field rendering
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
JP7072995B2 (ja) 2018-09-12 2022-05-23 アルパイン株式会社 操作装置
CN110932673A (zh) 2018-09-19 2020-03-27 恩智浦美国有限公司 一种包含并联陷波滤波器的斩波稳定放大器
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11422692B2 (en) 2018-09-28 2022-08-23 Apple Inc. System and method of controlling devices using motion gestures
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
CN109639970B (zh) 2018-12-17 2021-07-30 维沃移动通信有限公司 一种拍摄方法及终端设备
US11288880B2 (en) 2019-01-18 2022-03-29 Snap Inc. Template-based generation of personalized videos
US11381739B2 (en) 2019-01-23 2022-07-05 Intel Corporation Panoramic virtual reality framework providing a dynamic user experience
JP7268369B2 (ja) 2019-01-30 2023-05-08 株式会社リコー 撮像システム、現像システム、撮像方法、及びプログラム
US11062736B2 (en) 2019-04-22 2021-07-13 Soclip! Automated audio-video content generation
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
CN113518148A (zh) 2019-05-06 2021-10-19 苹果公司 用于捕获和管理视觉媒体的用户界面
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
US11074753B2 (en) 2019-06-02 2021-07-27 Apple Inc. Multi-pass object rendering using a three- dimensional geometric constraint
US12039661B2 (en) 2019-06-02 2024-07-16 Apple Inc. Parameterized generation of two-dimensional images from a three-dimensional model
US20200412975A1 (en) 2019-06-28 2020-12-31 Snap Inc. Content capture with audio input feedback
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
KR102241153B1 (ko) 2019-07-01 2021-04-19 주식회사 시어스랩 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
US11189104B2 (en) 2019-08-28 2021-11-30 Snap Inc. Generating 3D data in a messaging system
US11488359B2 (en) 2019-08-28 2022-11-01 Snap Inc. Providing 3D data for messages in a messaging system
US11252274B2 (en) 2019-09-30 2022-02-15 Snap Inc. Messaging application sticker extensions
CN110662083B (zh) 2019-09-30 2022-04-22 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质
JP2021145209A (ja) 2020-03-11 2021-09-24 キヤノン株式会社 電子機器
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
CN111695471B (zh) 2020-06-02 2023-06-27 北京百度网讯科技有限公司 虚拟形象生成方法、装置、设备以及存储介质
US11625874B2 (en) 2020-08-04 2023-04-11 Triple Lift, Inc. System and method for intelligently generating digital composites from user-provided graphics
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN113268622A (zh) 2021-04-21 2021-08-17 北京达佳互联信息技术有限公司 图片浏览方法、装置、电子设备及存储介质
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
US20220382443A1 (en) 2021-06-01 2022-12-01 Apple Inc. Aggregated content item user interfaces

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211497A (ja) 2009-03-10 2010-09-24 Nikon Corp デジタルカメラおよび画像処理プログラム
JP2017069776A (ja) 2015-09-30 2017-04-06 カシオ計算機株式会社 撮像装置、判定方法及びプログラム

Also Published As

Publication number Publication date
US10528243B2 (en) 2020-01-07
EP4287606A3 (en) 2024-06-05
CN111399734B (zh) 2021-10-08
DK201770719A1 (en) 2019-02-01
US20230229297A1 (en) 2023-07-20
KR102369058B1 (ko) 2022-03-02
US11687224B2 (en) 2023-06-27
JP2022084635A (ja) 2022-06-07
EP4002824A1 (en) 2022-05-25
JP7033152B2 (ja) 2022-03-09
DK180859B1 (en) 2022-05-23
JP2023101415A (ja) 2023-07-20
US20180349008A1 (en) 2018-12-06
CN114415906B (zh) 2023-08-01
AU2023204616A1 (en) 2023-08-03
CN116661666A (zh) 2023-08-29
CN113821140B (zh) 2023-04-07
AU2022218463B2 (en) 2023-04-27
JP7247390B2 (ja) 2023-03-28
KR20220029774A (ko) 2022-03-08
KR20230004908A (ko) 2023-01-06
US20200142577A1 (en) 2020-05-07
KR102478420B1 (ko) 2022-12-19
CN111399734A (zh) 2020-07-10
CN113821140A (zh) 2021-12-21
EP3616394B1 (en) 2023-09-13
CN111034164A (zh) 2020-04-17
US20210318798A1 (en) 2021-10-14
AU2022218463A1 (en) 2022-09-08
EP4002824B1 (en) 2023-12-13
EP3616394A1 (en) 2020-03-04
CN114415906A (zh) 2022-04-29
KR20200093695A (ko) 2020-08-05
AU2024200819A1 (en) 2024-02-29
KR102274977B1 (ko) 2021-07-07
US11204692B2 (en) 2021-12-21
KR20230152829A (ko) 2023-11-03
KR102596399B1 (ko) 2023-11-01
KR20210087559A (ko) 2021-07-12
EP4287606A2 (en) 2023-12-06
JP2020524430A (ja) 2020-08-13
AU2023204616B2 (en) 2023-11-09
JP2024105385A (ja) 2024-08-06

Similar Documents

Publication Publication Date Title
JP7483084B2 (ja) ユーザインタフェースカメラ効果
AU2021203177B2 (en) User interface camera effects
DK201770563A1 (en) USER INTERFACE CAMERA EFFECTS
KR102714520B1 (ko) 사용자 인터페이스 카메라 효과들
KR20240148952A (ko) 사용자 인터페이스 카메라 효과들

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231013

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240430

R150 Certificate of patent or registration of utility model

Ref document number: 7483084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150