WO2015003544A1 - 多深度区间的重聚焦方法、装置及电子设备 - Google Patents

多深度区间的重聚焦方法、装置及电子设备 Download PDF

Info

Publication number
WO2015003544A1
WO2015003544A1 PCT/CN2014/080053 CN2014080053W WO2015003544A1 WO 2015003544 A1 WO2015003544 A1 WO 2015003544A1 CN 2014080053 W CN2014080053 W CN 2014080053W WO 2015003544 A1 WO2015003544 A1 WO 2015003544A1
Authority
WO
WIPO (PCT)
Prior art keywords
refocusing
depth
image
information
display
Prior art date
Application number
PCT/CN2014/080053
Other languages
English (en)
French (fr)
Inventor
徐晶
张爱东
胡昌启
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to JP2016524663A priority Critical patent/JP6369842B2/ja
Priority to KR1020167000950A priority patent/KR20160019548A/ko
Priority to EP14822408.2A priority patent/EP3021206B1/en
Publication of WO2015003544A1 publication Critical patent/WO2015003544A1/zh
Priority to US14/977,966 priority patent/US10203837B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the refocusing processing on the image in the refocusing area to display the refocused image on the display device comprises: refocusing an image in the refocusing area based on the refocusing information Processing to synthesize the refocused image and display the refocused image on the display device.
  • the method further includes: generating, according to the user input, the refocusing area for identifying a user selection And the graphic object includes a point, a line, a circle, an ellipse or a polygon.
  • an electronic device includes at least one processor, a memory controller, a peripheral device interface, and an input/output system, where the input/output system is connected to at least a display device and a user input device, and further includes: Any multi-depth interval refocusing device.
  • the user input device is a touch screen, a touch pad, an attitude sensor, and/or an action tracking module.
  • the display device is configured to display images and graphical objects in a pre-refocus interaction or in a refocusing process.
  • the refocusing method, apparatus, and electronic device determine a refocusing region including at least two intermittent depth intervals in the display image according to the user input by acquiring a user input;
  • the image within the region is subjected to a refocusing process to display a refocused image on the display device, the refocused image having a visually identifiable sharpness difference with respect to a region of the display image other than the refocusing region
  • refocusing of multiple depth intervals is achieved.
  • Embodiment 2b is a schematic diagram of Embodiment 2 of a user gesture according to the present invention.
  • the tilt can only include rotation, and can also include translation and rotation.
  • the rotation center axis can be a virtual rotation axis through the mobile phone, or a virtual rotation axis other than the mobile phone, such as the user's wrist joint, the palm Upward, the palm swings left and right, wherein the angle at which the device is tilted is mapped to a spatial position of the scene in the picture in a proportional relationship, the spatial position corresponding to at least two intermittent depth intervals, including XY coordinates and/or depth information.
  • the data corresponding to the display image may be processed based on the refocusing information to synthesize a plurality of depth planes simultaneously refocused images or multiple multiple depth planes simultaneously refocused
  • displaying the refocused image on the display device comprises: displaying an image of multiple depth planes simultaneously refocused or multiple images of multiple depth planes simultaneously refocused
  • each of the at least two intermittent depth intervals is composed of at least one depth plane, each of the depth planes including at least one focus pixel, and corresponding to a focus pixel included on the same depth plane Object points having the same depth; refocusing the image within the refocusing area to display a refocused image on the display device, the refocused image being refocused with respect to the display image Areas outside the area have visually identifiable differences in clarity.
  • a trajectory or a closed geometry and moving the trajectory or closed geometry to another position of the displayed image, determining at least two of the original position of the trajectory or the closed geometry and the position after the movement a discontinuous depth interval, wherein the at least two intermittent depth intervals are determined as the refocusing region, wherein each of the trajectories or closed geometric shapes corresponds to one depth interval; or, at least two users are acquired on the touch screen a single click to select at least two points, and at least two intermittent depth intervals including the points are determined as the refocusing area according to a predefined depth interval value, wherein each of the points corresponds to a depth interval .
  • the gesture sensor unit 21 is specifically configured to acquire a user's translation operation on the device, map the translation distance of the device to a spatial position of the scene in the display image, and refocus the scene at the spatial location; or acquire a user.
  • the tilting operation of the device maps the tilted angle of the device to the spatial position of the scene in the displayed image, and refocuses the scene at the spatial position.
  • the action tracking unit 22 includes related operations and instructions that can perform acquisition and tracking of user actions.
  • the user action may be an air movement of the user's finger, palm, eyeball, head relative to the motion tracking unit 22.
  • the multi-depth interval refocusing device of this embodiment can be used to implement the technical solution of the foregoing method embodiment, and the implementation principle and technical effects thereof are similar, and details are not described herein again.
  • FIG. 7 is a schematic structural diagram of Embodiment 4 of a refocusing method for a multi-depth interval according to the present invention. As shown in FIG. 7, on the basis of the foregoing embodiment, in the multi-depth interval refocusing device provided by the embodiment, the processing module 12 may further generate the weight for identifying the user selection according to the user input.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

提供一种多深度区间的重聚焦方法、装置及电子设备。该方法包括：在显示设备上显示图像；获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域，所述至少两个间断的深度区间中的每个深度区间由至少一个深度平面组成，每个所述深度平面包含至少一个聚焦像素，且包含于同一所述深度平面上的聚焦像素所对应的物点具有相同的深度；对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重聚焦图像，所述重聚焦图像相对于所述显示图像中除所述重聚焦区域之外的区域具有视觉上可辨识清晰度差异；在所述显示设备上显示所述重聚焦图像。实现了多深度区间的重聚焦。

Description

多深度区间的重聚焦方法、 装置及电子设备 技术领域
本发明实施例涉及人机交互、 图像处理技术， 尤其涉及一种多深度区 间的重聚焦方法、 装置及电子设备。 背景技术
重聚焦是指在图片形成后， 根据用户的需要， 重新选择图片的聚焦面 或者景深。观看者在观看图片时，可以自行选择感兴趣的景物使之变清晰， 而不必只是被动地观看摄影师选择的主题景物。
现有技术中的重聚焦方法只能对单一深度平面进行重聚焦，这种方式 只能一次选择一个区域， 对应一个深度平面。 而在实际应用中， 用户可能 需要重聚焦多个深度平面、 单个或多个深度区间， 现有的重聚焦算法不能 满足用户该需求。 即使通过增加按钮个数或者设置多层级的菜单， 也不能 很好的解决这个问题。 还会增加用户的记忆负担。 因此， 亟需提出一种多 深度区间的重聚焦方法。 发明内容
本发明实施例提供一种多深度区间的重聚焦方法、 装置及电子设备， 用 以实现多深度区间的重聚焦。 第一方面， 本发明实施例提供的多深度区间的重聚焦方法， 包括： 在显示设备上显示图像； 获取用户输入， 根据所述用户输入在所述显示图像中确定包括至少两个 间断的深度区间的重聚焦区域， 所述至少两个间断的深度区间中的每个深度 区间由至少一个深度平面组成， 每个所述深度平面包含至少一个聚焦像素， 且包含于同一所述深度平面上的聚焦像素所对应的物点具有相同的深度； 对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重 聚焦图像， 所述重聚焦图像相对于所述显示图像中除所述重聚焦区域之外的 区域具有视觉上可辨识清晰度差异； 在所述显示设备上显示所述重聚焦图像。 在第一方面的第一种可能的实现方式中， 所述在显示设备上显示图像包 括： 在所述显示设备上显示在任意深度平面聚焦的图像； 或者 在所述显示设备上显示在任意深度区间聚焦的图像。 在第一方面的第二种可能的实现方式中， 所述获取用户输入， 根据所述 用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域 包括：
获取用户在触摸屏上的至少两次单点滑动的输入， 确定所述至少两次单 点滑动对应的至少两个间断的深度区间， 将所述至少两个间断的深度区间确 定为所述重聚焦区域， 其中每次所述单点滑动对应一个深度区间； 或 获取用户在触摸屏上至少两次多手指发散式的多点滑动， 以每次滑动终 止时每个手指所在的位置为顶点或边构建一个封闭的图形区域， 确定通过所 述至少两次多手指发散式的多点滑动所构建的至少两个图形区域所对应的至 少两个间断的深度区间， 将所述至少两个间断的深度区间确定为所述重聚焦 区域， 其中， 所述每个封闭的图形区域对应一个深度区间； 或 获取用户用多手指在触摸屏上的多点滑动或单手指在触摸屏上的单点滑 动所画的轨迹或封闭的几何图形， 并将所述轨迹或封闭的几何图形移动至所 述显示图像的另一个位置， 确定所述轨迹或封闭的几何图形的原始位置以及 移动后位置所对应的至少两个间断的深度区间， 将所述至少两个间断的深度 区间确定为所述重聚焦区域， 其中每个所述轨迹或封闭的几何图形对应一个 深度区间； 或 获取用户在触摸屏上的至少两次单点点击以选择至少两个点， 根据预定 义的深度区间值将包含所述点的至少两个间断的深度区间确定为所述重聚焦 区域， 其中， 每个所述点对应一个深度区间。 在第一方面的第三种可能的实现方式中， 所述获取用户输入， 根据所述 用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域 包括： 当用户按住一个物理按钮或一个图形按钮的同时， 所述显示设备上显示 相应的图形对象， 检测用户对设备的姿态操作， 所述图形对象标记所述姿态 操作所经过的路径， 将所述图形对象标记的所述路径作为所述重聚焦区域， 用户再次按住所述物理按钮或图形按钮的同时， 重复上述动作， 选择下一个 所述重聚焦区域； 或 在所述显示设备上显示所述图形对象， 所述图形对象随着用户对设备的 所述姿态操作相应的进行物理运动， 当用户触发一个物理按钮或一个图形按 钮时， 将所述图形对象当前所处位置作为所述重聚焦区域， 用户重复上述动 作选择下一个所述重聚焦区域； 其中， 所述检测用户对设备的姿态操作， 包括： 获取用户对设备的平移操作， 将所述设备的平移距离映射为所述显示图 像中场景的空间位置， 重聚焦所述空间位置处的场景； 或 获取用户对设备的倾斜操作， 将所述设备的倾斜的角度映射为所述显示 图像中场景的空间位置， 重聚焦所述空间位置处的场景。 在第一方面的第四种可能的实现方式中， 所述获取用户输入， 根据所述 用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域 包括： 在所述显示设备上显示图形对象， 并追踪用户的手部移动的轨迹， 并沿 所追踪到的用户手部移动的轨迹移动所述图形对象， 确定所述图形对象移动 轨迹所覆盖的所述显示图像中的区域中至少两个间断的深度区间， 将所述至 少两个间断的深度区间确定为所述重聚焦区域； 或 监测用户推动手掌的动作， 将所述推动手掌的动作的运动路径映射为所 述显示图像中的空间位置， 在所述映射得到的显示图像中的空间位置中确定 至少两个间断的深度区间， 将所述至少两个间断的深度区间确定为所述重聚 焦区域。 结合第一方面至第一方面的第四种可能的实现方式， 在第五种可能的实 现方式中， 根据所述用户输入在所述显示图像中确定包括至少两个间断的深 度区间的重聚焦区域之后， 在所述对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上 显示重聚焦图像之前， 所述方法还包括： 确定所述重聚焦区域的重聚焦信息；
对应， 所述对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设 备上显示重聚焦图像， 具体包括： 基于所述重聚焦信息对所述重聚焦区域内的图像进行重聚焦处理， 以合 成重聚焦图像， 并在所述显示设备上显示重聚焦图像。 根据第一方面的第五种可能的实现方式， 在第六种可能的实现方式中， 所述获取用户输入之后， 还包括： 根据所述用户输入生成用于标识用户选择的所述重聚焦区域的图形对象 并进行显示， 所述图形对象包括点、 线、 圆、 椭圆或多边形； 相应的， 所述确定所述重聚焦区域的重聚焦信息包括： 所述图形对象为点， 则根据预定义的所述深度区间值将包含所述点的深 度区间信息和 /或图像像素区间信息作为所述重聚焦信息； 或 所述图形对象为线， 则将所述线对应的所述深度区间信息和 /或像素区间 信息作为所述重聚焦信息； 或 所述图形对象为圆， 则将所述圆所包含的区域所对应的所述深度区间信 息和 /或像素区间信息作为所述重聚焦信息； 或 所述图形对象为椭圆， 则将所述椭圆所包含的区域所对应的所述深度区 间信息和 /或像素区间信息作为所述重聚焦信息； 或 所述图形对象为多边形， 则将所述多边形所包含的区域所对应的所述深 度区间信息和 /或像素区间信息作为所述重聚焦信息。 结合第一方面至第一方面的第六种可能的实现方式， 在第七种可能的实 现方式中， 所述获取用户输入之后， 还包括： 根据所述用户输入确定显示信息， 所述显示信息包括重聚焦图像的发散 中心和 /或显示次序； 对应， 所述在所述显示设备上显示重聚焦图像， 具体包括： 在所述显示设备上从所述发散中心开始， 由内向外或由外向内的显示所 述重聚焦图像； 或者， 在所述显示设备上按照所述显示次序依次， 或交互， 或同时的显示所述重聚焦图像。 根据第一方面的第五种可能的实现方式， 在第八种可能的实现方式中， 所述确定所述重聚焦区域的重聚焦信息包括： 计算各所述重聚焦区域中的景物的深度区间信息和 /或像素区间信息， 作 为所述重聚焦信息， 其中， 所述深度区间信息包括至少一个深度平面， 所述 像素区间信息包括以下任意一种或几种信息： 像素坐标信息、 强度信息、 颜 色信息和聚焦信息。 在第一方面的第九种可能的实现方式中， 所述确定所述重聚焦区域的重 聚焦信息包括： 在用户输入用例集中匹配所述用户输入， 根据所述用户输入在所述显示 图像中确定与所述用户输入对应的深度区间信息和 /或像素区间信息， 作为所 述重聚焦信息。 结合第一方面的第六种或第七种可能的实现方式， 在第十种可能的实现 方式中， 所述确定所述重聚焦区域的重聚焦信息之后， 还包括： 在所述显示设备上显示相应的所述深度区间信息、 所述像素区间信息和 景深信息。 根据第一方面的第五种可能的实现方式，在第十一种可能的实现方式中， 基于所述重聚焦信息对所述显示图像所对应的数据进行处理以合成一张 多个深度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像； 对应地， 在所述显示设备上显示所述重聚焦图像包括： 显示一张多个深 度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像。 根据第一方面的第六种可能的实现方式，在第十二种可能的实现方式中， 所述在所述显示设备上显示所述重聚焦图像包括： 从所述重聚焦区域的发散中心对应的重聚焦图像开始， 按照预设的顺序 依次显示各所述重聚焦图像。 根据第一方面的第六种可能的实现方式，在第十三种可能的实现方式中， 所述在所述显示设备上显示所述重聚焦图像包括： 根据预定义信息显示所述重聚焦图像， 所述预定义信息包括预定义的所 述发散中心、 所述显示次序和所述显示图形对象。 第二方面， 本发明实施例提供的多深度区间的重聚焦装置， 包括： 显示模块， 用于在显示设备上显示图像； 处理模块， 用于获取用户输入， 根据所述用户输入在所述显示图像中确 定包括至少两个间断的深度区间的重聚焦区域， 所述至少两个间断的深度区 间中的每个深度区间由至少一个深度平面组成， 每个所述深度平面包含至少 一个聚焦像素， 且包含于同一所述深度平面上的聚焦像素所对应的物点具有 相同的深度； 所述处理模块还用于对所述重聚焦区域内的图像进行重聚焦处理以在所 述显示设备上显示重聚焦图像， 所述重聚焦图像相对于所述显示图像中除所 述重聚焦区域之外的区域具有视觉上可辨识清晰度差异； 所述显示模块还用于在所述显示设备上显示所述重聚焦图像。 在第二方面的第一种可能的实现方式中， 所述显示模块具体用于： 在所述显示设备上显示在任意深度平面聚焦的图像； 或者 在所述显示设备上显示在任意深度区间聚焦的图像。 在第二方面的第二种可能的实现方式中， 所述处理模块具体用于： 获取用户在触摸屏上的至少两次单点滑动的输入， 确定所述至少两次单 点滑动对应的至少两个间断的深度区间， 将所述至少两个间断的深度区间确 定为所述重聚焦区域， 其中每次所述单点滑动对应一个深度区间； 或 获取用户在触摸屏上至少两次多手指发散式的多点滑动， 以每次滑动终 止时每个手指所在的位置为顶点或边构建一个封闭的图形区域， 确定通过所 述至少两次多手指发散式的多点滑动所构建的至少两个图形区域所对应的至 少两个间断的深度区间， 将所述至少两个间断的深度区间确定为所述重聚焦 区域， 其中， 所述每个封闭的图形区域对应一个深度区间； 或 获取用户用多手指在触摸屏上的多点滑动或单手指在触摸屏上的单点滑 动所画的轨迹或封闭的几何图形， 并将所述轨迹或封闭的几何图形移动至所 述显示图像的另一个位置， 确定所述轨迹或封闭的几何图形的原始位置以及 移动后位置所对应的至少两个间断的深度区间， 将所述至少两个间断的深度 区间确定为所述重聚焦区域， 其中每个所述轨迹或封闭的几何图形对应一个 深度区间； 或 获取用户在触摸屏上的至少两次单点点击以选择至少两个点， 根据预定 义的深度区间值将包含所述点的至少两个间断的深度区间确定为所述重聚焦 区域， 其中， 每个所述点对应一个深度区间。 在第二方面的第三种可能的实现方式中， 所述处理模块包括： 姿态传感器单元，用于当用户按住一个物理按钮或一个图形按钮的同时， 所述显示设备上显示相应的图形对象， 检测用户对设备的姿态操作， 所述图 形对象标记所述姿态操作所经过的路径， 将所述图形对象标记的所述路径作 为所述重聚焦区域， 用户再次按住所述物理按钮或图形按钮的同时， 重复上 述动作， 选择下一个所述重聚焦区域； 或 在所述显示设备上显示所述图形对象， 所述图形对象随着用户对设备的 所述姿态操作相应的进行物理运动， 当用户触发一个物理按钮或一个图形按 钮时， 将所述图形对象当前所处位置作为所述重聚焦区域， 用户重复上述动 作选择下一个所述重聚焦区域； 所述姿态传感器单元具体用于获取用户对设备的平移操作， 将所述设备 的平移距离映射为所述显示图像中场景的空间位置， 重聚焦所述空间位置处 的场景； 或 获取用户对设备的倾斜操作， 将所述设备的倾斜的角度映射为所述显示 图像中场景的空间位置， 重聚焦所述空间位置处的场景。 在第二方面的第四种可能的实现方式中， 所述处理模块包括： 动作跟踪单元， 用于在所述显示设备上显示图形对象， 并追踪用户的手 部移动的轨迹， 并沿所追踪到的用户手部移动的轨迹移动所述图形对象， 确 定所述图形对象移动轨迹所覆盖的所述显示图像中的区域中至少两个间断的 深度区间， 将所述至少两个间断的深度区间确定为所述重聚焦区域； 或 监测用户推动手掌的动作， 将所述推动手掌的动作的运动路径映射为所 述显示图像中的空间位置， 在所述映射得到的显示图像中的空间位置中确定 至少两个间断的深度区间， 将所述至少两个间断的深度区间确定为所述重聚 焦区域。 结合第二方面至第四种可能的实现方式， 在第五种可能的实现方式中， 所述处理模块还用于： 确定所述重聚焦区域的重聚焦信息； 基于所述重聚焦信息对所述重聚焦 区域内的图像进行重聚焦处理， 以合成重聚焦图像， 所述显示模块还用于在所述显示设备上显示重聚焦图像。 根据第二方面的第五种可能的实现方式， 在第六种可能的实现方式中， 所述处理模块还用于： 根据所述用户输入生成用于标识用户选择的所述重聚焦区域的图形对象 并进行显示， 所述图形对象包括点、 线、 圆、 椭圆或多边形； 所述处理模块具体用于： 所述图形对象为点， 则根据预定义的所述深度区间值将包含所述点的深 度区间信息和 /或图像像素区间信息作为所述重聚焦信息； 或 所述图形对象为线， 则将所述线对应的所述深度区间信息和 /或像素区间 信息作为所述重聚焦信息； 或 所述图形对象为圆， 则将所述圆所包含的区域所对应的所述深度区间信 息和 /或像素区间信息作为所述重聚焦信息； 或 所述图形对象为椭圆， 则将所述椭圆所包含的区域所对应的所述深度区 间信息和 /或像素区间信息作为所述重聚焦信息； 或
所述图形对象为多边形， 则将所述多边形所包含的区域所对应的所述深 度区间信息和 /或像素区间信息作为所述重聚焦信息。 结合第二方面至第二方面的第六种可能的实现方式， 在第七种可能的实 现方式中， 所述处理模块还用于根据所述用户输入确定显示信息， 所述显示 信息包括重聚焦图像的发散中心和 /或显示次序；
所述显示设备具体用于从所述发散中心开始， 由内向外或由外向内的显 示所述重聚焦图像； 或者， 在所述显示设备上按照所述显示次序依次， 或交 互， 或同时的显示所述重聚焦图像。 根据第二方面的第四种可能的实现方式， 在第八种可能的实现方式中， 所述处理模块还包括计算单元， 用于计算各所述重聚焦区域中的景物的深度 区间信息和 /或像素区间信息， 作为所述重聚焦信息， 其中， 所述深度区间信 息包括至少一个深度平面，所述像素区间信息包括以下任意一种或几种信息: 像素坐标信息、 强度信息、 颜色信息和聚焦信息。 在第二方面的第九种可能的实现方式中， 所述处理模块还用于： 在用户输入用例集中匹配所述用户输入， 根据所述用户输入在所述显示 图像中确定与所述用户输入对应的深度区间信息和 /或像素区间信息， 作为所 述重聚焦信息。
结合第二方面的第五种或第六种可能的实现方式， 在第十种可能的实现 方式中， 所述显示模块还用于在所述显示设备上显示相应的所述深度区间信 息、 所述像素区间信息和景深信息。 根据第二方面的第四种可能的实现方式，在第十一种可能的实现方式中， 所述处理模块具体用于： 基于所述重聚焦信息对所述显示图像所对应的数据进行处理以合成一张 多个深度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像； 对应地， 在所述显示设备上显示所述重聚焦图像包括： 显示一张多个深 度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像。 根据第二方面的第四种可能的实现方式，在第十二种可能的实现方式中， 所述显示模块具体用于： 从所述重聚焦区域的发散中心对应的重聚焦图像开始， 按照预设的顺序 依次显示各所述重聚焦图像。 根据第二方面的第四种可能的实现方式，在第十三种可能的实现方式中， 所述显示模块具体用于： 根据预定义信息显示所述重聚焦图像， 所述预定义信息包括预定义的所 述发散中心、 所述显示次序和所述显示图形对象。 第三方面， 本发明实施例提供的电子设备， 包括至少一个处理器、 内存 控制器、 外围设备接口和输入输出系统， 所述输入输出系统至少连接有显示 设备和用户输入设备， 还包括： 上述任意的多深度区间的重聚焦装置。 在第三方面的第一种可能的实现方式中， 所述用户输入设备为触摸屏、 触摸板、 姿态传感器和 /或动作跟踪模块。 在第三方面的第二种可能的实现方式中， 所述显示设备用于显示重聚焦 交互前或重聚焦过程中的图像和图形对象。 本发明实施例提供的重聚焦方法、装置及电子设备， 通过获取用户输入， 根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重 聚焦区域； 对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上 显示重聚焦图像， 所述重聚焦图像相对于所述显示图像中除所述重聚焦区域 之外的区域具有视觉上可辨识清晰度差异，从而实现了多深度区间的重聚焦。 附图说明
图 1为本发明多深度区间的重聚焦方法实施例一的流程图；
图 2a为本发明用户手势实施例一示意图；
图 2b为本发明用户手势实施例二示意图；
图 2c为本发明用户手势实施例三示意图；
图 2d为本发明用户手势实施例四示意图；
图 2e为本发明用户手势实施例五示意图；
图 2f为本发明用户手势实施例六示意图；
图 2g为本发明用户手势实施例七示意图；
图 2h为本发明用户手势实施例八示意图；
图 2ι为本发明用户手势实施例九示意图；
图 3为本发明多深度区间的重聚焦方法实施例五的流程图；
图 4为本发明多深度区间的重聚焦方法实施例一的结构示意图； 图 5为本发明多深度区间的重聚焦方法实施例二的结构示意图； 图 6为本发明多深度区间的重聚焦方法实施例三的结构示意图； 图 7为本发明多深度区间的重聚焦方法实施例四的结构示意图。 具体实施方式 为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合本发 明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域普通技术人员在没有作出创造性劳动前提下所获 得的所有其他实施例， 都属于本发明保护的范围。 本发明实施例提供的多深度区间重聚焦方法可以应用于以下场景： 带有 成像模块的设备。 该设备上的显示模块实时地显示场景图像。 用户通过本发 明提供的多深度区间的重聚焦方法对该设备进行交互式地拍摄控制； 也可以 是接受或存储可重聚焦数据的设备， 如一个投影仪， 用户通过本发明中的多 深度区间的重聚焦方法对该设备显示模块上显示的图像进行交互式地浏览。 本发明实施例中提及的图像， 可以包括通过光场相机所获取的原始的光场数 据形成的图像， 或者是通过计算处理后的任一深度重聚焦的图像， 或者是全 部深度的图像， 或者是通过计算机合成的虚拟图像。 图 1为本发明多深度区间的重聚焦方法实施例一的流程图。 本实施例的 方法由多深度区间的重聚焦装置执行， 该装置通常以硬件和 /或软件的方式来 实现， 可配置在电子设备中。 如图 1所示， 本实施例提供的多深度区间的重 聚焦方法可以包括：
歩骤 101、 在显示设备上显示图像。 具体地， 显示的图像可以是某一深度平面聚焦的图像， 也可以是全聚焦 的图像， 该深度是指景物与照相机中成像元件的成像面之间的距离。 需要说 明的是， 该显示的图像可以是通过特定算法处理光场相机所采集数据的结果 图像。 该光场相机的主镜头及图像传感器之间有一个微透镜阵列， 每个微透 镜阵列形成一个小像， 被图像传感器记录下来， 很多个小像组成图像阵列。
在显示设备上显示图像可以包括在显示设备上显示在任意深度平面聚焦 的图像； 或者是在显示设备上显示在任意深度区间聚焦的图像。
歩骤 102、 获取用户输入， 根据所述用户输入在所述显示图像中确定包 括至少两个间断的深度区间的重聚焦区域， 所述至少两个间断的深度区间中 的每个深度区间由至少一个深度平面组成， 每个所述深度平面包含至少一个 聚焦像素， 且包含于同一所述深度平面上的聚焦像素所对应的物点具有相同 的深度。 具体地， 用户输入可以为与所显示图像的交互操作， 也可以为用户自定 义的输入方法， 例如输入命令等， 本实施例不对此进行限制。 上述与所显示 图像的交互操作可以为用户在触摸屏上的单点点击、 多点点击、 单点滑动或 多点滑动的输入， 多深度区间的重聚焦装置可以根据用户输入在显示图像中 确定包括至少两个间断的深度区间的重聚焦区域。
歩骤 103、 对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设 备上显示重聚焦图像， 所述重聚焦图像相对于所述显示图像中除所述重聚焦 区域之外的区域具有视觉上可辨识的清晰度差异。
具体地， 重聚焦信息可以是深度区间信息， 也可以是像素区间信息， 或 是同时包括深度区间信息及像素区间信息。 深度区间信息包含至少一个深度 平面， 深度区间可以是由一个或多个连续的深度平面组成； 像素区间信息包 括以下任意一种或几种信息： 像素的坐标信息、 强度信息、 颜色信息、 聚焦 自 多深度区间的重聚焦装置获取到用户在触摸屏上的单点点击、多点点击、 单点滑动或多点滑动的输入后， 可以根据重聚焦区域的聚焦像素坐标， 对重 聚焦区域中的聚焦像素所对应的原始数据进行处理， 确定重聚焦区域的重聚 焦信息， 重聚焦信息可以包括重聚焦区域的聚焦像素对应物点的深度、 重聚 焦区域的聚焦像素的视差、 重聚焦区域的聚焦像素的点扩散函数、 重聚焦区 域的聚焦像素的光斑半径、 重聚焦区域的坐标信息。 需要说明的是， 由于处 理的图像类型不同和实现方法不同， 所需要的重聚焦信息也有所不同。 可能 是上述某一种重聚焦信息， 也可能是它们的任意组合。 进一歩地， 合成的重聚焦图像可以是对图像进行重聚焦操作， 也可以是 对图像进行融合拼接操作， 也可以是对图像进行重聚焦及融合拼接的操作， 本实施例不对此进行限制。 歩骤 104、 在所述显示设备上显示所述重聚焦图像。 所显示的重聚焦图像可以是显示一个重聚焦区域内所有聚焦像素同时重 聚焦的图像； 也可以是以动作起点为所述显示信息的发散中心， 显示重聚焦 区域内聚焦像素由发散中心向外依次重聚焦的图像； 也可以是以各深度区间 的最近深度、 中心深度或最远深度等为序， 由近到远或由远到近地依次显示 包含至少两个深度区间重聚焦的图像。 本实施例提供的多深度区间的重聚焦方法， 通过获取用户输入， 根据所 述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区 域； 对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重 聚焦图像， 所述重聚焦图像相对于所述显示图像中除所述重聚焦区域之外的 区域具有视觉上可辨识的清晰度差异， 从而实现了多深度区间的重聚焦。 在图 1所示实施例的基础上， 在本实施例中， 上述歩骤 102具体可以包 括： 获取用户在触摸屏上的至少两次单点滑动的输入， 如图 2a所示， 确定所 述至少两次单点滑动对应的至少两个间断的深度区间， 将所述至少两个间断 的深度区间确定为所述重聚焦区域， 其中每次所述单点滑动对应一个深度区 间； 或者， 获取用户在触摸屏上至少两次多手指发散式的多点滑动， 以每次 滑动终止时每个手指所在的位置为顶点或边构建一个封闭的图形区域， 如图 2b、 图 2c、 图 2d、 图 2e、 图 2f及图 2g所示， 确定通过所述至少两次多手指 发散式的多点滑动所构建的至少两个图形区域所对应的至少两个间断的深度 区间， 将所述至少两个间断的深度区间确定为所述重聚焦区域， 其中， 所述 每个封闭的图形区域对应一个深度区间； 或者， 获取用户用多手指在触摸屏 上的多点滑动或单手指在触摸屏上的单点滑动所画的轨迹或封闭的几何图 形， 如图 2h所示， 并将所述轨迹或封闭的几何图形移动至所述显示图像的另 一个位置， 确定所述轨迹或封闭的几何图形的原始位置以及移动后位置所对 应的至少两个间断的深度区间， 将所述至少两个间断的深度区间确定为所述 重聚焦区域， 其中每个所述轨迹或封闭的几何图形对应一个深度区间； 或者， 获取用户在触摸屏上的至少两次单点点击以选择至少两个点， 如图 2ι所示， 根据预定义的深度区间值将包含所述点的至少两个间断的深度区间确定为所 述重聚焦区域， 其中， 每个所述点对应一个深度区间。 在实际的应用过程中， 用户在触摸屏上单手指先后多次单点点击或先后 多次单点滑动， 选择包含所述至少两个间断的深度区间的重聚焦区域， 每次 单点点击或单点滑动选择包含一个深度区间的重聚焦区域。 重聚焦信息具体 可以是每个深度区间中最近的深度平面和最远的深度平面以及各深度区间被 选中的先后次序。 用户第一次单点点击或单点滑动时， 选择的第一个深度区 间被重聚焦。 用户第二次单点点击或单点滑动时， 选择的第二个深度区间被 重聚焦， 第一个深度区间仍保持重聚焦状态。 当用户多次单点点击或单点滑 动时， 显示屏上始终显示至少两个深度区间被重聚焦的图像； 也可以在用户 所有点击或滑动动作结束后， 显示所有选中的深度区间同时重聚焦的图像； 或根据选择次序， 依次重聚焦选中的深度区间， 最后形成包含至少两个深度 区间重聚焦的图像； 或根据深度区间的深度由近到远或由远到近地依次重聚 焦选中的深度区间， 最后形成包含至少两个间断的深度区间的重聚焦图像。 用户在触摸屏上用多手指同时多点点击或多点滑动， 选择包含所述至少 两个间断的深度区间的重聚焦区域。 每个手指选择包含一个深度区间的重聚 焦区域， 每个手指的滑动方向可以一致， 也可以不一致。 多个重聚焦区域可 以部分或完全重叠， 也可以不重叠。 重聚焦信息可以是每个深度区间中最近 的深度平面和最远的深度平面以及各深度区间被选中的先后次序。在显示时， 可以显示所有选中的深度区间同时重聚焦的图像； 也可以根据选择次序， 依 次重聚焦选中的深度区间， 最后形成包含至少两个深度区间重聚焦的图像； 也可以根据深度区间的深度由近到远或由远到近地依次重聚焦选中的深度区 间， 最后形成包含至少两个间断的深度区间的重聚焦图像。 用户多次用多手指发散式地多点滑动， 每次以每个手指为图形的顶点或 边， 可以选择一个封闭的几何图形区域， 如圆形区域或多边形区域。 所述封 闭的几何图形对应一个深度区间。 重复以上动作， 用户可以选择包含至少两 个间断的深度区间的重聚焦区域。 重聚焦信息可以是每个深度区间中最近的 深度平面和最远的深度平面、 各封闭几何图形的几何中心、 质心和边界、 各 深度区间被选中的先后次序。 用户第一次多手指发散式地多点滑动时， 选择 的第一个深度区间被重聚焦， 用户第二次多手指发散式地多点滑动时， 选择 的第二个深度区间被重聚焦， 第一个深度区间仍保持重聚焦状态。 当用户多 次多手指发散式地多点滑动时， 显示屏上始终显示至少两个间断的深度区间 被重聚焦的图像。 也可以在用户所有多手指发散式地多点滑动之后， 显示所 有选中的深度区间同时重聚焦的图像； 或根据选择次序， 依次重聚焦选中的 深度区间， 最后形成包含至少两个间断的深度区间的重聚焦图像； 或根据深 度区间的深度由近到远或由远到近地依次重聚焦选中的深度区间， 最后形成 包含至少两个间断的深度区间的重聚焦图像。 用户用多个手指或单个手指进行多点滑动或单点滑动， 可以是画一条轨 迹， 也可以是画一个封闭的几何图形。 然后通过单个手指的单点拖动将所述 轨迹或封闭的几何图形拖动到该图像的另一个位置， 以上动作可以实现对该 轨迹或封闭几何图形包括的区域进行重聚焦操作， 其中， 重聚焦信息可以是 最近深度平面的深度、 最远深度平面的深度、 单点拖动的路径、 封闭几何图 形的质心、 几何中心、 边界中的任一个。 用户拖动轨迹或封闭几何图形时， 可以在拖动完成之后， 显示轨迹或封闭几何图形被拖动路径所经过的所有区 域同时重聚焦的图像； 也可以根据拖动的路径， 在拖动的同时或拖动之后依 次显示包含至少两个深度区间重聚焦的图像； 也可以以各深度区间的深度为 序， 在拖动完成之后， 由近到远或由远到近的依次显示包含至少两个间断的 深度区间的重聚焦图像。 用户用单手指单点点击选择一个点， 然后根据预定义的深度区间值或用 户自定义的深度区间值， 选中包含所述点的一个深度区间， 用户可以通过重 复上述动作或者多手指同时点击的方式， 选择包括至少两个间断的深度区间 的重聚焦区域， 所述深度区间的值可以为所述深度区间的最近和最远深度平 面的深度， 用户用单手指单点点击选择的点可以位于深度区间的任意位置， 其中， 重聚焦信息可以是用户单点点击选择的点的坐标。
进一歩， 获取用户在触摸屏上的输入后， 在用户输入用例集中匹配该用 户输入对应的深度区间信息和 /或像素区间信息， 作为重聚焦信息。 若该用户 输入与用户输入用例集不匹配， 则不进行相应的重聚焦操作， 并对用户进行 提示， 如， 显示提示文字、 使用声音提示、 使用振动提示等； 或在预定的时 间间隔之后， 再次探测用户的输入， 重复以上过程， 本实施例不对此进行限 制。 用户输入可以为用户与显示图像的交互操作， 也可以为用户对显示设备 的姿态操作， 或是显示设备监测到的用户动作， 在获取到用户输入后， 在用 户输入用例集中匹配获取到的用户输入以得到重聚焦信息。 深度区间信息包 含至少一个深度平面， 深度区间可以是由一个或多个连续的深度平面组成； 像素区间信息包括以下任意一种或几种信息： 像素的坐标信息、 强度信息、 颜色信息、 聚焦信息。 需要说明的是， 重聚焦区域可以是封闭的几何图形区域的深度区间所对 应的所有区域， 也可以是仅是所述封闭几何图形区域选择的深度区间所对应 的区域中被所述封闭几何图形所包含的子区域。
该触摸屏可以是多手指敏感的触摸屏， 也可以是与显示设备连接的多手 指敏感的触摸板， 本实施例不以此为限。 本实施例提供多深度区间的重聚焦方法， 当多深度区间的重聚焦装置探 测到用户手指与触摸屏的接触时， 判断接触的个数和位置， 然后探测用户手 指是否有移动， 如果用户手指没有移动， 则计算选定的重聚焦区域所对应的 重聚焦信息； 如果用户手指有移动， 则探测和跟踪移动速度的大小和方向， 移动的加速度， 移动的路径， 并判断该移动是否结束， 如果结束， 则计算接 触和移动组合或序列手势对应的重聚焦信息， 若没有结束， 则继续探测移动 的路径， 直至该移动结束， 最后根据计算得到的重聚焦信息对各图像进行重 聚焦操作和 /或图像融合拼接操作， 并在显示设备上显示获得的重聚焦图片。 需要说明的是， 该重聚焦模式可以由用户自行选择是否使用， 如果使用 该重聚焦模式， 则多深度区间的重聚焦装置可以按照用户的输入对图片进行 相应的重聚焦操作， 若用户输入的动作不属于多深度区间的重聚焦装置可以 识别的动作，则多深度区间的重聚焦装置会通过一定的方式对用户进行提示， 如， 显示提示文字、 使用声音提示、 使用振动提示等。 如果不使用该重聚焦 模式，则就算用户输入的动作属于多深度区间的重聚焦装置可以识别的动作， 该动作将会被忽略， 多深度区间的重聚焦装置不会对图像进行重聚焦操作， 但并不影响其它操作的正常使用。 本实施例提供的多深度区间的重聚焦方法， 通过用户与所显示的图像进 行交互输入， 再根据用户输入确定重聚焦区域， 再根据重聚焦区域确定重聚 焦信息， 并基于重聚焦信息对显示图像对应的数据进行处理， 以合成多深度 区间的重聚焦图像， 实现了多深度区间的重聚焦。 并且， 用户可以用多点输 入的方式划定重聚焦区域， 同时选择多个重聚焦的深度区间并进行显示。 在图 1所示实施例的基础上， 在本实施例中， 上述歩骤 102具体可以包 括： 当用户按住一个物理按钮或一个图形按钮的同时， 所述显示设备上显示 相应的图形对象， 检测用户对设备的姿态操作， 所述图形对象标记所述姿态 操作所经过的路径， 将所述图形对象标记的所述路径作为所述重聚焦区域， 用户再次按住所述物理按钮或图形按钮的同时， 重复上述动作， 选择下一个 所述重聚焦区域； 或， 在所述显示设备上显示所述图形对象， 所述图形对象 随着用户对设备的所述姿态操作相应的进行物理运动， 当用户触发一个物理 按钮或一个图形按钮时，将所述图形对象当前所处位置作为所述重聚焦区域， 用户重复上述动作选择下一个所述重聚焦区域； 其中， 所述检测用户对设备的姿态操作， 包括： 获取用户对设备的平移 操作， 将所述设备的平移距离映射为所述显示图像中场景的空间位置， 重聚 焦所述空间位置处的场景； 或， 获取用户对设备的倾斜操作， 将所述设备的 倾斜的角度映射为所述显示图像中场景的空间位置， 重聚焦所述空间位置处 的场景。 姿态传感器可以检测设备在转动、 偏转、 轴向运动等动作时的方向、 方 位、 加速度、 角加速度或它们的任意组合， 重构设备当前完整的 3D姿态。 例如， 当用户将设备向前旋转或向自己拉近时， 姿态传感器感应到设备的当 前姿态， 与用户输入用例集进行匹配， 若匹配， 则相应的显示近距离场景的 重聚焦图像； 当用户将设备向后旋转或推远时， 姿态传感器感应到设备的当 前姿态， 与用户输入用例集进行匹配， 若匹配， 则相应的显示远距离场景的 重聚焦图像； 若设备当前的运动姿态不能与用户输入用例集匹配， 则不进行 相应的重聚焦操作， 并对用户进行提示， 如， 显示提示文字、 使用声音提示、 使用振动提示等； 或在预定的时间间隔之后， 再次探测设备的姿态， 重复以 上过程。 具体的， 用户向前平移设备时， 图像中的背景或前景被重聚焦； 用户向 后平移设备时， 图像中的前景或背景被重聚焦； 或者， 用户向左平移设备时， 图像中左侧物体或右侧物体被重聚焦； 用户向右平移设备时， 图像中右侧物 体或左侧物体被重聚焦。 其中， 设备左右平移的距离可以以某种比例关系映 射为图像中场景的空间位置， 所述空间位置对应至少两个间断的深度区间， 包括 X- Y坐标和 /或深度信息。 或者， 用户向前倾斜设备， 即设备上边缘向前， 下边缘向后， 图像中的 背景或前景被重聚焦； 用户向后倾斜设备， 即设备上边缘向后， 下边缘向前， 图像中的前景或背景被重聚焦； 或者， 用户向左倾斜设备， 即设备左边缘向 前， 右边缘向后， 图像中左侧物体或右侧物体被重聚焦； 用户向右倾斜设备， 即设备右边缘向后， 左边缘向前， 图像中右侧物体或左侧物体被重聚焦。 其 中， 倾斜可以仅包含旋转， 也可以同时包含平移和旋转， 旋转中心轴可以是 经过手机的某个虚拟旋转轴， 也可以是手机以外的某个虚拟旋转轴， 比如用 户腕关节不动， 手掌向上， 手掌左右摆动， 其中， 设备倾斜的角度将以某种 比例关系映射为图片中场景的空间位置， 所述空间位置对应至少两个间断的 深度区间， 包括 X-Y坐标和 /或深度信息。 或者， 用户按住某个物理或图形的按钮时， 显示设备上显示相应的图形 对象， 该图形对象随着设备的姿态变化， 其所处位置也发生相应的变化， 比 如， 用户按住按钮时， 显示设备上显示一个圆点， 当用户操纵设备， 使设备 姿态发生变化时， 该圆点模拟相应的物理运动， 并利用曲线等图形对象像画 笔一样标记所经过路径， 从而选中重聚焦区域； 或者， 显示设备上显示图形 对象， 该图形对象会随移动设备的姿态变化发生相应的物理运动。 然后当用 户触发物理或图形按钮时， 选中此时图形对象所处位置的图像区域为重聚焦 区域。 其中， 设备姿态的变化， 包括平移距离、 旋转角度将以一定的比例关 系映射为图片中场景的空间位置， 所述空间位置对应至少两个间断的深度区 间， 包括 X-Y坐标和 /或深度信息。 用户若想要形成一段连续的重聚焦区域， 则可以通过按住一个预先设定 的支持该功能的按钮， 同时转动或移动设置有姿态传感器的设备， 从而选择 一段连续的重聚焦区域， 所述连续的重聚焦区域包含至少两个间断的深度区 间。 进一歩， 姿态传感器可以包括陀螺仪、 加速计、 磁力计、 重力感应器等。 上述陀螺仪测量设备偏转、 倾斜时的角速度； 上述加速计可以检测设备加速 度的大小和方向； 上述磁力计可以检测磁场强度和方向； 上述重力感应器是 通过感应重物重力正交两个方向的分力大小， 来判断水平方向。 本实施例提 供多深度区间的重聚焦方法， 姿态传感器通过检测设备在各个方向的运动速 率、 运动方向、 加速度、 角加速度、 重力加速度或它们的任意组合， 获取设 备当前的运动姿态， 从而确定用户所选择的包含至少两个间断的深度区间的 重聚焦区域。 由上述可知， 本实施例提供的多深度区间的重聚焦方法， 通过检测用户 对设备的姿态操作， 确定包含至少两个间断的深度区间的重聚焦区域， 进而 确定重聚焦信息， 对图像对应的数据进行处理， 以合成重聚焦图像并进行显 示， 实现了多深度区间的重聚焦。 在图 1所示实施例的基础上， 在本实施例中， 上述歩骤 102具体可以包 括： 在所述显示设备上显示图形对象， 并追踪用户的手部移动的轨迹， 并沿 所追踪到的用户手部移动的轨迹移动所述图形对象， 确定所述图形对象移动 轨迹所覆盖的所述显示图像中的区域中至少两个间断的深度区间， 将所述至 少两个间断的深度区间确定为所述重聚焦区域； 或者， 监测用户推动手掌的 动作，将所述推动手掌的动作的运动路径映射为所述显示图像中的空间位置， 在所述映射得到的显示图像中的空间位置中确定至少两个间断的深度区间， 将所述至少两个间断的深度区间确定为所述重聚焦区域。 需要说明的是， 在所述显示设备上显示图形对象， 并追踪用户的手部在 特定空间区域内的移动轨迹， 并沿所追踪到的用户手部移动的轨迹移动所述 图形对象， 而特定空间区域外的手部移动视为无效移动， 不改变图形对象的 位置， 确定所述图形对象移动轨迹所覆盖的所述显示图像中至少两个间断的 深度区间， 将所述至少两个间断的深度区间确定为所述重聚焦区域； 或， 监 测用户在特定空间区域内的推动手掌的动作， 将所述特定空间区域内推动手 掌的动作的运动路径映射为所述显示图像中的空间位置， 所述特定空间区域 外的推动手掌的动作视为无效动作， 不做映射， 在所述映射得到的显示图像 中确定至少两个间断的深度区间， 将所述至少两个间断的深度区间确定为所 述重聚焦区域。
具体地， 动作跟踪模块可以采集、 跟踪用户当前的动作， 并将采集到的 用户动作与用户输入用例集进行匹配， 以确定所选择的至少一个重聚焦区域。 若该用户动作与输入用例集不匹配， 则不进行相应的重聚焦操作， 并对用户 进行提示， 如， 显示提示文字、 使用声音提示、 使用振动提示等； 或在预定 的时间间隔之后， 再次探测用户的动作， 重复以上过程。 作为一种可行的实施方式， 动作跟踪模块可以是摄像头、 红外体感设备 等。 该动作跟踪模块包含可以执行采集、 跟踪用户动作的相关操作、 指令。 用户动作可以是用户手指、 手掌、 眼球、 头部相对于动作跟踪模块的隔空运 动。 本实施例提供多深度区间的重聚焦方法， 通过动作跟踪模块监测并识别 用户动作， 若该用户动作可以识别， 则进行相应的重聚焦操作， 若该用户动 作不可以识别， 在预设的时间间隔之后， 再次监测用户动作， 重复上述过程。
例如， 显示设备上显示一个图形对象， 用户向设备挥手， 图形对象跟踪 用户挥手的动作， 像画笔一样选中所经过的区域为重聚焦区域， 如用户挥手 形成多个闭合的圆， 则在显示设备上显示多个闭合的圆表示选中的多个重聚 焦区域； 又如， 用户用手画出一个轨迹， 则图形对象跟踪用户手部的动作， 向画笔一样在显示屏上画出相应的轨迹， 轨迹所经过区域即为重聚焦区域。 其中，用户手部的运动路径将以某种数学关系映射为图像中场景的空间位置， 包括 X-Y坐标和 /或深度信息。 或者， 用户向前推动手， 则前景被重聚焦； 用户向后推动手， 则后景被 重聚焦； 用户向左挥手， 则左侧物体被重聚焦； 用户向右挥手， 则右侧物体 被重聚焦。 其中， 用户手部的运动路径将以某种数学关系映射为图片中场景 的空间位置， 包括 X-Y坐标和 /或深度信息。 由上述可知， 通过用户与所显示的图像进行交互输入， 通过监测用户动 作确定包含至少两个间断的深度区间的重聚焦区域， 进而确定重聚焦信息， 对图像对应的数据进行处理， 以合成重聚焦图像并进行显示， 实现了多深度 区间的重聚焦。 图 3为本发明多深度区间的重聚焦方法实施例五的流程图。 本实施例的 方法可以由多深度区间的重聚焦装置执行， 该装置通常以硬件和 /或软件的方 式来实现， 可配置在电子设备中。 如图 3所示， 在本实施例提供的多深度区 间的重聚焦方法中， 在图 1所示实施例的基础上， 本实施例提供的方法可以 包括： 歩骤 201、 在显示设备上显示图像. 歩骤 202、 获取用户输入， 根据所述用户输入在所述显示图像中确定包 括至少两个间断的深度区间的重聚焦区域。 本歩骤中， 可以根据所述用户输入生成用于标识用户选择的所述重聚焦 区域的图形对象并进行显示， 所述图形对象可以包括点、 线、 圆、 椭圆或多 边形。
歩骤 203、 确定所述重聚焦区域的重聚焦信息。 对应于歩骤 202中， 若所述图形对象为点， 则根据预定义的所述深度区 间值将包含所述点的深度区间信息和 /或图像像素区间信息作为所述重聚焦 信息; 或， 若所述图形对象为线， 则将所述线对应的所述深度区间信息和 /或 像素区间信息作为所述重聚焦信息； 或， 所述图形对象为圆， 则将所述圆所 包含的区域所对应的所述深度区间信息和 /或像素区间信息作为所述重聚焦 信息； 或， 若所述图形对象为椭圆， 则将所述椭圆所包含的区域所对应的所 述深度区间信息和 /或像素区间信息作为所述重聚焦信息； 或， 若所述图形对 象为多边形， 则将所述多边形所包含的区域所对应的所述深度区间信息和 /或 像素区间信息作为所述重聚焦信息。 本歩骤中， 还可以计算各所述重聚焦区域中的景物的深度区间信息和 /或 像素区间信息， 作为所述重聚焦信息， 其中， 所述深度区间信息包括至少一 个深度平面， 所述像素区间信息包括以下任意一种或几种信息： 像素坐标信 息、 强度信息、 颜色信息和聚焦信息， 本实施例不对此进行限制。 可选， 还可以在显示设备上显示相应的所述深度区间信息、 像素区间信 息和景深信息。
歩骤 204、 根据所述用户输入确定显示信息， 所述显示信息包括重聚焦 图像的发散中心和 /或显示次序。
本实施例不对歩骤 203与歩骤 204的顺序进行限制，在实际应用过程中， 也可以先执行歩骤 203， SP , 在本实施例中， 可以先根据用户输入确定显示 信息， 再根据用户输入确定重聚焦信息； 也可以先根据用户输入确定重聚焦 信息， 再根据用户输入确定显示信息， 本实施例不对此进行限制。 发散中心可以为上述用户输入选择的区域中的点， 也可以是某个轨迹的 起始点， 也可以是对触摸屏进行点击时， 选择的点的预设的范围。 确定发散 中心可以为可选的， 也可以是预定义的。 显示次序可以为上述用户输入选择 的次序， 也可以是各深度平面的深度次序， 如由近到远或由远到近。 确定显 示次序可以为可选的， 该显示次序也可以采用预定义的显示次序。 歩骤 205、 基于所述重聚焦信息对所述重聚焦区域内的图像进行重聚焦 处理， 以合成重聚焦图像。 具体的， 在实际应用中， 可以基于所述重聚焦信息对所述显示图像所对 应的数据进行处理以合成一张多个深度平面同时重聚焦的图像或多张多个深 度平面同时重聚焦的图像； 对应地， 在所述显示设备上显示所述重聚焦图像 包括： 显示一张多个深度平面同时重聚焦的图像或多张多个深度平面同时重 聚焦的图像
歩骤 206、 在所述显示设备上从所述发散中心开始， 由内向外或由外向 内的显示所述重聚焦图像； 或者， 在所述显示设备上按照所述显示次序依次， 或交互， 或同时的显示所述重聚焦图像。 所述显示设备在对重聚焦图像进行显示时， 可以从所述重聚焦区域的发 散中心对应的重聚焦图像开始，按照预设的顺序依次显示各所述重聚焦图像； 或根据预定义信息显示所述重聚焦图像， 所述预定义信息包括预定义的所述 发散中心、 所述显示次序和所述显示图形对象。 本实施例不对此进行限制。
本实施例提供多深度区间的重聚焦方法， 通过获取用户输入后确定发散 中心和 /或显示次序， 对重聚焦图像进行特定方式的显示。 本实施例提供的多深度区间的重聚焦方法， 通过用户与所显示的图像进 行交互输入， 再根据用户输入确定包含至少两个间断的深度区间的重聚焦区 域， 进而确定重聚焦信息和显示信息， 对图像对应的数据进行处理， 以合成 重聚焦图像并进行显示， 实现了多深度区间的重聚焦。
图 4为本发明多深度区间的重聚焦方法实施例一的结构示意图。 如图 4 所示， 本实施例提供的多深度区间的重聚焦装置可以包括： 显示模块 11及处 理模块 12。 其中， 显示模块 11用于在显示设备上显示图像及重聚焦图像； 处理模块 12用于获取用户输入，根据所述用户输入在所述显示图像中确 定包括至少两个间断的深度区间的重聚焦区域， 所述至少两个间断的深度区 间中的每个深度区间由至少一个深度平面组成， 每个所述深度平面包含至少 一个聚焦像素， 且包含于同一所述深度平面上的聚焦像素所对应的物点具有 相同的深度； 对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备 上显示重聚焦图像， 所述重聚焦图像相对于所述显示图像中除所述重聚焦区 域之外的区域具有视觉上可辨识清晰度差异。 显示模块 11具体用于显示在任意深度平面聚焦的图像； 或者， 在任意深 度区间聚焦的图像； 所显示的重聚焦图像可以是显示一个重聚焦区域内所有 聚焦像素同时重聚焦的图像； 也可以是以动作起点为所述显示信息的发散中 心， 显示重聚焦区域内聚焦像素由发散中心向外依次重聚焦的图像； 也可以 是以各深度区间的最近深度、 中心深度或最远深度等为序， 由近到远或由远 到近地依次显示包含至少两个深度区间重聚焦的图像。 本实施例的多深度区间的重聚焦装置， 可用于执行图 1所示方法实施例 的技术方案， 其实现原理及技术效果类似， 此处不再赘述。 在上述实施例的基础上， 本实施例提供的多深度区间的重聚焦装置中， 上述处理模块 12 具体还可以用于获取用户在触摸屏上的至少两次单点滑动 的输入， 确定所述至少两次单点滑动对应的至少两个间断的深度区间， 将所 述至少两个间断的深度区间确定为所述重聚焦区域， 其中每次所述单点滑动 对应一个深度区间； 或者， 获取用户在触摸屏上至少两次多手指发散式的多 点滑动， 以每次滑动终止时每个手指所在的位置为顶点或边构建一个封闭的 图形区域， 确定通过所述至少两次多手指发散式的多点滑动所构建的至少两 个图形区域所对应的至少两个间断的深度区间， 将所述至少两个间断的深度 区间确定为所述重聚焦区域， 其中， 所述每个封闭的图形区域对应一个深度 区间； 或者， 获取用户用多手指在触摸屏上的多点滑动或单手指在触摸屏上 的单点滑动所画的轨迹或封闭的几何图形， 并将所述轨迹或封闭的几何图形 移动至所述显示图像的另一个位置， 确定所述轨迹或封闭的几何图形的原始 位置以及移动后位置所对应的至少两个间断的深度区间， 将所述至少两个间 断的深度区间确定为所述重聚焦区域， 其中每个所述轨迹或封闭的几何图形 对应一个深度区间； 或者， 获取用户在触摸屏上的至少两次单点点击以选择 至少两个点， 根据预定义的深度区间值将包含所述点的至少两个间断的深度 区间确定为所述重聚焦区域， 其中， 每个所述点对应一个深度区间。 所述处理模块 12在获取用户在触摸屏上的输入后，在用户输入用例集中 匹配该用户输入对应的深度区间信息和 /或像素区间信息， 作为重聚焦信息。 若该用户输入与用户输入用例集不匹配， 则不进行相应的重聚焦操作， 并对 用户进行提示， 如， 显示提示文字、 使用声音提示、 使用振动提示等； 或在 预定的时间间隔之后， 再次探测用户的输入， 重复以上过程， 本实施例不对 此进行限制。 需要说明的是，所述处理模块 12获取的用户输入可以为用户与显示图像 的交互操作， 也可以为用户对显示设备的姿态操作， 或是显示设备监测到的 用户动作， 在获取到用户输入后， 在用户输入用例集中匹配获取到的用户输 入以得到重聚焦信息。 深度区间信息包含至少一个深度平面， 深度区间可以 是由一个或多个连续的深度平面组成； 像素区间信息包括以下任意一种或几 种信息： 像素的坐标信息、 强度信息、 颜色信息、 聚焦信息。 需要说明的是， 重聚焦区域可以是封闭的几何图形区域的深度区间所对 应的所有区域， 也可以是仅是所述封闭几何图形区域选择的深度区间所对应 的区域中被所述封闭几何图形所包含的子区域。 本实施例的多深度区间的重聚焦装置， 可用于执行上述方法实施例的技 术方案， 其实现原理及技术效果类似， 此处不再赘述。 图 5为本发明多深度区间的重聚焦方法实施例二的结构示意图。 如图 5 所示， 在上述实施例的基础上， 本实施例提供的多深度区间的重聚焦装置中， 上述处理模块 12还可以包括姿态传感器单元 21， 用于当用户按住一个物理 按钮或一个图形按钮的同时， 所述显示设备上显示相应的图形对象， 检测用 户对设备的姿态操作， 所述图形对象标记所述姿态操作所经过的路径， 将所 述图形对象标记的所述路径作为所述重聚焦区域， 用户再次按住所述物理按 钮或图形按钮的同时， 重复上述动作， 选择下一个所述重聚焦区域； 或， 在 所述显示设备上显示所述图形对象， 所述图形对象随着用户对设备的所述姿 态操作相应的进行物理运动， 当用户触发一个物理按钮或一个图形按钮时， 将所述图形对象当前所处位置作为所述重聚焦区域， 用户重复上述动作选择 下一个所述重聚焦区域；
所述姿态传感器单元 21具体用于获取用户对设备的平移操作，将所述设 备的平移距离映射为所述显示图像中场景的空间位置， 重聚焦所述空间位置 处的场景； 或， 获取用户对设备的倾斜操作， 将所述设备的倾斜的角度映射 为所述显示图像中场景的空间位置， 重聚焦所述空间位置处的场景。
在实际应用过程中， 姿态传感器单元 21可以检测设备在转动、 偏转、 轴 向运动等动作时的方向、 方位、 加速度、 角加速度或它们的任意组合， 重构 设备当前完整的 3D姿态。 例如， 当用户将设备向前旋转或向自己拉近时， 姿态传感器感单元 21应到设备的当前姿态， 与用户输入用例集进行匹配， 若 匹配， 则相应的显示近距离场景的重聚焦图像； 当用户将设备向后旋转或推 远时， 姿态传感器感单元 21应到设备的当前姿态， 与用户输入用例集进行匹 配， 若匹配， 则相应的显示远距离场景的重聚焦图像； 若设备当前的运动姿 态不能与用户输入用例集匹配， 则不进行相应的重聚焦操作， 并对用户进行 提示， 如， 显示提示文字、 使用声音提示、 使用振动提示等； 或在预定的时 间间隔之后， 再次探测设备的姿态， 重复以上过程。 本实施例的多深度区间的重聚焦装置， 可用于执行上述方法实施例的技 术方案， 其实现原理及技术效果类似， 此处不再赘述。
图 6为本发明多深度区间的重聚焦方法实施例三的结构示意图。 如图 6 所示， 在上述实施例的基础上， 本实施例提供的多深度区间的重聚焦装置中， 上述处理模块 12还可以包括动作跟踪单元 22， 用于在所述显示设备上显示 图形对象， 并追踪用户的手部移动的轨迹， 并沿所追踪到的用户手部移动的 轨迹移动所述图形对象， 确定所述图形对象移动轨迹所覆盖的所述显示图像 中的区域中至少两个间断的深度区间， 将所述至少两个间断的深度区间确定 为所述重聚焦区域； 或， 监测用户推动手掌的动作， 将所述推动手掌的动作 的运动路径映射为所述显示图像中的空间位置， 在所述映射得到的显示图像 中的空间位置中确定至少两个间断的深度区间， 将所述至少两个间断的深度 区间确定为所述重聚焦区域。 需要说明的是， 在所述显示设备上显示图形对象， 并追踪用户的手部在 特定空间区域内的移动轨迹， 并沿所追踪到的用户手部移动的轨迹移动所述 图形对象， 而特定空间区域外的手部移动视为无效移动， 不改变图形对象的 位置， 确定所述图形对象移动轨迹所覆盖的所述显示图像中至少两个间断的 深度区间， 将所述至少两个间断的深度区间确定为所述重聚焦区域； 或， 监 测用户在特定空间区域内的推动手掌的动作， 将所述特定空间区域内推动手 掌的动作的运动路径映射为所述显示图像中的空间位置， 所述特定空间区域 外的推动手掌的动作视为无效动作， 不做映射， 在所述映射得到的显示图像 中确定至少两个间断的深度区间， 将所述至少两个间断的深度区间确定为所 述重聚焦区域。 具体地， 动作跟踪单元 22可以采集、 跟踪用户当前的动作， 并将采集到 的用户动作与用户输入用例集进行匹配， 以确定所选择的至少一个重聚焦区 域。 若该用户动作与输入用例集不匹配， 则不进行相应的重聚焦操作， 并对 用户进行提示， 如， 显示提示文字、 使用声音提示、 使用振动提示等； 或在 预定的时间间隔之后， 再次探测用户的动作， 重复以上过程。 作为一种可行的实施方式， 动作跟踪单元 22可以是摄像头、 红外体感设 备等。 该动作跟踪单元 22包含可以执行采集、 跟踪用户动作的相关操作、 指 令。 用户动作可以是用户手指、 手掌、 眼球、 头部相对于动作跟踪单元 22的 隔空运动。 本实施例的多深度区间的重聚焦装置， 可用于执行上述方法实施例的技 术方案， 其实现原理及技术效果类似， 此处不再赘述。 图 7为本发明多深度区间的重聚焦方法实施例四的结构示意图。 如图 7 所示， 在上述实施例的基础上， 本实施例提供的多深度区间的重聚焦装置中， 上述处理模块 12 还可以根据所述用户输入生成用于标识用户选择的所述重 聚焦区域的图形对象并进行显示， 所述图形对象可以包括点、 线、 圆、 椭圆 或多边形。 若所述图形对象为点，则处理模块 12可以根据预定义的所述深度区间值 将包含所述点的深度区间信息和 /或图像像素区间信息作为所述重聚焦信息； 若所述图形对象为线，则处理模块 12可以将所述线对应的所述深度区间信息 和 /或像素区间信息作为所述重聚焦信息； 若所述图形对象为圆， 则处理模块 12 可以将所述圆所包含的区域所对应的所述深度区间信息和 /或像素区间信 息作为所述重聚焦信息； 若所述图形对象为椭圆， 则处理模块 12可以将所述 椭圆所包含的区域所对应的所述深度区间信息和 /或像素区间信息作为所述 重聚焦信息； 若所述图形对象为多边形， 则处理模块 12可以将所述多边形所 包含的区域所对应的所述深度区间信息和 /或像素区间信息作为所述重聚焦 自 上述处理模块 12还可以包括计算单元 23， 该计算单元 23用于计算各所 述重聚焦区域中的景物的深度区间信息和 /或像素区间信息， 作为所述重聚焦 信息， 其中， 所述深度区间信息包括至少一个深度平面， 所述像素区间信息 包括以下任意一种或几种信息： 像素坐标信息、 强度信息、 颜色信息和聚焦 自 上述显示模块 11还可以用于显示相应的深度区间信息、 像素区间信息、 景深信息。 本实施例的多深度区间的重聚焦装置， 可用于执行上述方法实施例的技 术方案， 其实现原理及技术效果类似， 此处不再赘述。 本实施例提供的电子设备可以包括至少一个处理器， 内存控制器， 外围 设备接口， 输入输出系统， 该输入输出系统至少连接有显示设备和用户输入 设备， 还可以包括上述任一实施例的多深度区间的重聚焦装置。 其中， 用户输入设备可以为触摸屏， 可以为触摸板， 也可以为姿态传感 器和 /或动作跟踪模块； 上述显示设备可以用于显示重聚焦交互前或重聚焦过 程中的图像和图形对象。 本实施例提供的电子设备可用于执行任一实施例的技术方案， 其实现原 理及技术效果类似， 此处不再赘述。 本领域普通技术人员可以理解： 实现上述各方法实施例的全部或部分歩 骤可以通过程序指令相关的硬件来完成。 前述的程序可以存储于一计算机可 读取存储介质中。 该程序在执行时， 执行包括上述各方法实施例的歩骤； 而 前述的存储介质包括： ROM、 RAM, 磁碟或者光盘等各种可以存储程序代码 的介质。
最后应说明的是： 以上各实施例仅用以说明本发明的技术方案， 而非对 其限制； 尽管参照前述各实施例对本发明进行了详细的说明， 本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征进行等同替换； 而这些修改或者替换， 并 不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

权 利 要 求 书
1、 一种多深度区间的重聚焦方法， 其特征在于， 包括： 在显示设备上显示图像； 获取用户输入， 根据所述用户输入在所述显示图像中确定包括至少两个 间断的深度区间的重聚焦区域， 所述至少两个间断的深度区间中的每个深度 区间由至少一个深度平面组成， 每个所述深度平面包含至少一个聚焦像素， 且包含于同一所述深度平面上的聚焦像素所对应的物点具有相同的深度； 对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重 聚焦图像， 所述重聚焦图像相对于所述显示图像中除所述重聚焦区域之外的 区域具有视觉上可辨识的清晰度差异； 在所述显示设备上显示所述重聚焦图像。
2、 根据权利要求 1所述的方法， 其特征在于， 所述在显示设备上显示图 像包括：
在所述显示设备上显示在任意深度平面聚焦的图像； 或者 在所述显示设备上显示在任意深度区间聚焦的图像。
3、 根据权利要求 1所述的方法， 其特征在于， 所述获取用户输入， 根据 所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦 区域包括： 获取用户在触摸屏上的至少两次单点滑动的输入， 确定所述至少两次单 点滑动对应的至少两个间断的深度区间， 将所述至少两个间断的深度区间确 定为所述重聚焦区域， 其中每次所述单点滑动对应一个深度区间； 或 获取用户在触摸屏上至少两次多手指发散式的多点滑动， 以每次滑动终 止时每个手指所在的位置为顶点或边构建一个封闭的图形区域， 确定通过所 述至少两次多手指发散式的多点滑动所构建的至少两个图形区域所对应的至 少两个间断的深度区间， 将所述至少两个间断的深度区间确定为所述重聚焦 区域， 其中， 所述每个封闭的图形区域对应一个深度区间； 或 获取用户用多手指在触摸屏上的多点滑动或单手指在触摸屏上的单点滑 动所画的轨迹或封闭的几何图形， 并将所述轨迹或封闭的几何图形移动至所 述显示图像的另一个位置， 确定所述轨迹或封闭的几何图形的原始位置以及 移动后位置所对应的至少两个间断的深度区间， 将所述至少两个间断的深度 区间确定为所述重聚焦区域， 其中每个所述轨迹或封闭的几何图形对应一个 深度区间； 或 获取用户在触摸屏上的至少两次单点点击以选择至少两个点， 根据预定 义的深度区间值将包含所述点的至少两个间断的深度区间确定为所述重聚焦 区域， 其中， 每个所述点对应一个深度区间。
4、 根据权利要求 1所述的方法， 其特征在于， 所述获取用户输入， 根据 所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦 区域包括： 当用户按住一个物理按钮或一个图形按钮的同时， 所述显示设备上显示 相应的图形对象， 检测用户对设备的姿态操作， 所述图形对象标记所述姿态 操作所经过的路径， 将所述图形对象标记的所述路径作为所述重聚焦区域， 用户再次按住所述物理按钮或图形按钮的同时， 重复上述动作， 选择下一个 所述重聚焦区域； 或 在所述显示设备上显示所述图形对象， 所述图形对象随着用户对设备的 所述姿态操作相应的进行物理运动， 当用户触发一个物理按钮或一个图形按 钮时， 将所述图形对象当前所处位置作为所述重聚焦区域， 用户重复上述动 作选择下一个所述重聚焦区域； 其中， 所述检测用户对设备的姿态操作， 包括： 获取用户对设备的平移操作， 将所述设备的平移距离映射为所述显示图 像中场景的空间位置， 重聚焦所述空间位置处的场景； 或 获取用户对设备的倾斜操作， 将所述设备的倾斜的角度映射为所述显示 图像中场景的空间位置， 重聚焦所述空间位置处的场景。
5、 根据权利要求 1所述的方法， 其特征在于， 所述获取用户输入， 根据 所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦 区域包括： 在所述显示设备上显示图形对象， 并追踪用户的手部移动的轨迹， 并沿 所追踪到的用户手部移动的轨迹移动所述图形对象， 确定所述图形对象移动 轨迹所覆盖的所述显示图像中的区域中至少两个间断的深度区间， 将所述至 少两个间断的深度区间确定为所述重聚焦区域； 或 监测用户推动手掌的动作， 将所述推动手掌的动作的运动路径映射为所 述显示图像中的空间位置， 在所述映射得到的显示图像中的空间位置中确定 至少两个间断的深度区间， 将所述至少两个间断的深度区间确定为所述重聚 焦区域。
6、 根据权利要求 1-5任意一项所述的方法， 其特征在于， 在所述根据所 述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区 域之后， 在所述对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设 备上显示重聚焦图像之前， 所述方法还包括： 确定所述重聚焦区域的重聚焦信息； 对应， 所述对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设 备上显示重聚焦图像， 具体包括： 基于所述重聚焦信息对所述重聚焦区域内的图像进行重聚焦处理， 以合 成重聚焦图像， 并在所述显示设备上显示重聚焦图像。
7、 根据权利要求 6所述的方法， 其特征在于， 所述获取用户输入之后， 还包括： 根据所述用户输入生成用于标识用户选择的所述重聚焦区域的图形对象 并进行显示， 所述图形对象包括点、 线、 圆、 椭圆或多边形； 相应的， 所述确定所述重聚焦区域的重聚焦信息包括： 所述图形对象为点， 则根据预定义的所述深度区间值将包含所述点的深 度区间信息和 /或图像像素区间信息作为所述重聚焦信息； 或 所述图形对象为线， 则将所述线对应的所述深度区间信息和 /或像素区间 信息作为所述重聚焦信息； 或 所述图形对象为圆， 则将所述圆所包含的区域所对应的所述深度区间信 息和 /或像素区间信息作为所述重聚焦信息； 或 所述图形对象为椭圆， 则将所述椭圆所包含的区域所对应的所述深度区 间信息和 /或像素区间信息作为所述重聚焦信息； 或 所述图形对象为多边形， 则将所述多边形所包含的区域所对应的所述深 度区间信息和 /或像素区间信息作为所述重聚焦信息。
8、 根据权利要求 1-7任一项所述的方法， 其特征在于， 所述获取用户输 入之后， 还包括： 根据所述用户输入确定显示信息， 所述显示信息包括重聚焦图像的发散 中心和 /或显示次序； 对应， 所述在所述显示设备上显示重聚焦图像， 具体包括： 在所述显示设备上从所述发散中心开始， 由内向外或由外向内的显示所 述重聚焦图像； 或者， 在所述显示设备上按照所述显示次序依次， 或交互， 或同时的显示所述重聚焦图像。
9、 根据权利要求 6所述的方法， 其特征在于， 所述确定所述重聚焦区域 的重聚焦信息包括： 计算各所述重聚焦区域中的景物的深度区间信息和 /或像素区间信息， 作 为所述重聚焦信息， 其中， 所述深度区间信息包括至少一个深度平面， 所述 像素区间信息包括以下任意一种或几种信息： 像素坐标信息、 强度信息、 颜 色信息和聚焦信息。
10、 根据权利要求 1所述的方法， 其特征在于， 所述确定所述重聚焦区 域的重聚焦信息包括： 在用户输入用例集中匹配所述用户输入， 根据所述用户输入在所述显示 图像中确定与所述用户输入对应的深度区间信息和 /或像素区间信息， 作为所 述重聚焦信息。
11、 根据权利要求 7或 8所述的方法， 其特征在于， 所述确定所述重聚 焦区域的重聚焦信息之后， 还包括： 在所述显示设备上显示相应的所述深度区间信息、 所述像素区间信息和 景深信息。
12、 根据权利要求 6所述的方法， 其特征在于， 所述基于所述重聚焦信 息对所述重聚焦区域内的图像进行重聚焦处理， 以合成重聚焦图像包括： 基于所述重聚焦信息对所述显示图像所对应的数据进行处理以合成一张 多个深度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像； 对应地， 在所述显示设备上显示所述重聚焦图像包括： 显示一张多个深 度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像。
13、 根据权利要求 7所述的方法， 其特征在于， 所述在所述显示设备上 显示所述重聚焦图像包括： 从所述重聚焦区域的发散中心对应的重聚焦图像开始， 按照预设的顺序 依次显示各所述重聚焦图像。
14、 根据权利要求 7所述的方法， 其特征在于， 所述在所述显示设备上 显示所述重聚焦图像包括： 根据预定义信息显示所述重聚焦图像， 所述预定义信息包括预定义的所 述发散中心、 所述显示次序和所述显示图形对象。
15、 一种多深度区间的重聚焦装置， 其特征在于， 包括： 显示模块， 用于在显示设备上显示图像； 处理模块， 用于获取用户输入， 根据所述用户输入在所述显示图像中确 定包括至少两个间断的深度区间的重聚焦区域， 所述至少两个间断的深度区 间中的每个深度区间由至少一个深度平面组成， 每个所述深度平面包含至少 一个聚焦像素， 且包含于同一所述深度平面上的聚焦像素所对应的物点具有 相同的深度；
所述处理模块还用于对所述重聚焦区域内的图像进行重聚焦处理以在所 述显示设备上显示重聚焦图像， 所述重聚焦图像相对于所述显示图像中除所 述重聚焦区域之外的区域具有视觉上可辨识清晰度差异；
所述显示模块还用于在所述显示设备上显示所述重聚焦图像。
16、根据权利要求 15所述的装置，其特征在于，所述显示模块具体用于: 在所述显示设备上显示在任意深度平面聚焦的图像； 或者 在所述显示设备上显示在任意深度区间聚焦的图像。
17、根据权利要求 15所述的装置，其特征在于，所述处理模块具体用于: 获取用户在触摸屏上的至少两次单点滑动的输入， 确定所述至少两次单 点滑动对应的至少两个间断的深度区间， 将所述至少两个间断的深度区间确 定为所述重聚焦区域， 其中每次所述单点滑动对应一个深度区间； 或 获取用户在触摸屏上至少两次多手指发散式的多点滑动， 以每次滑动终 止时每个手指所在的位置为顶点或边构建一个封闭的图形区域， 确定通过所 述至少两次多手指发散式的多点滑动所构建的至少两个图形区域所对应的至 少两个间断的深度区间， 将所述至少两个间断的深度区间确定为所述重聚焦 区域， 其中， 所述每个封闭的图形区域对应一个深度区间； 或 获取用户用多手指在触摸屏上的多点滑动或单手指在触摸屏上的单点滑 动所画的轨迹或封闭的几何图形， 并将所述轨迹或封闭的几何图形移动至所 述显示图像的另一个位置， 确定所述轨迹或封闭的几何图形的原始位置以及 移动后位置所对应的至少两个间断的深度区间， 将所述至少两个间断的深度 区间确定为所述重聚焦区域， 其中每个所述轨迹或封闭的几何图形对应一个 深度区间； 或 获取用户在触摸屏上的至少两次单点点击以选择至少两个点， 根据预定 义的深度区间值将包含所述点的至少两个间断的深度区间确定为所述重聚焦 区域， 其中， 每个所述点对应一个深度区间。
18、 根据权利要求 15所述的装置， 其特征在于， 所述处理模块包括： 姿态传感器单元，用于当用户按住一个物理按钮或一个图形按钮的同时， 所述显示设备上显示相应的图形对象， 检测用户对设备的姿态操作， 所述图 形对象标记所述姿态操作所经过的路径， 将所述图形对象标记的所述路径作 为所述重聚焦区域， 用户再次按住所述物理按钮或图形按钮的同时， 重复上 述动作， 选择下一个所述重聚焦区域； 或 在所述显示设备上显示所述图形对象， 所述图形对象随着用户对设备的 所述姿态操作相应的进行物理运动， 当用户触发一个物理按钮或一个图形按 钮时， 将所述图形对象当前所处位置作为所述重聚焦区域， 用户重复上述动 作选择下一个所述重聚焦区域； 所述姿态传感器单元具体用于获取用户对设备的平移操作， 将所述设备 的平移距离映射为所述显示图像中场景的空间位置， 重聚焦所述空间位置处 的场景； 或 获取用户对设备的倾斜操作， 将所述设备的倾斜的角度映射为所述显示 图像中场景的空间位置， 重聚焦所述空间位置处的场景。
19、 根据权利要求 15所述的装置， 其特征在于， 所述处理模块包括： 动作跟踪单元， 用于在所述显示设备上显示图形对象， 并追踪用户的手 部移动的轨迹， 并沿所追踪到的用户手部移动的轨迹移动所述图形对象， 确 定所述图形对象移动轨迹所覆盖的所述显示图像中的区域中至少两个间断的 深度区间， 将所述至少两个间断的深度区间确定为所述重聚焦区域； 或 监测用户推动手掌的动作， 将所述推动手掌的动作的运动路径映射为所 述显示图像中的空间位置， 在所述映射得到的显示图像中的空间位置中确定 至少两个间断的深度区间， 将所述至少两个间断的深度区间确定为所述重聚 焦区域。
20、 根据权利要求 15-19任一项所述的装置， 其特征在于， 所述处理模 块还用于： 确定所述重聚焦区域的重聚焦信息； 基于所述重聚焦信息对所述重聚焦 区域内的图像进行重聚焦处理， 以合成重聚焦图像， 所述显示模块还用于在所述显示设备上显示重聚焦图像。
21、 根据权利要求 20所述的装置， 其特征在于， 所述处理模块还用于： 根据所述用户输入生成用于标识用户选择的所述重聚焦区域的图形对象 并进行显示， 所述图形对象包括点、 线、 圆、 椭圆或多边形； 所述处理模块具体用于： 所述图形对象为点， 则根据预定义的所述深度区间值将包含所述点的深 度区间信息和 /或图像像素区间信息作为所述重聚焦信息； 或 所述图形对象为线， 则将所述线对应的所述深度区间信息和 /或像素区间 信息作为所述重聚焦信息； 或 所述图形对象为圆， 则将所述圆所包含的区域所对应的所述深度区间信 息和 /或像素区间信息作为所述重聚焦信息； 或 所述图形对象为椭圆， 则将所述椭圆所包含的区域所对应的所述深度区 间信息和 /或像素区间信息作为所述重聚焦信息； 或 所述图形对象为多边形， 则将所述多边形所包含的区域所对应的所述深 度区间信息和 /或像素区间信息作为所述重聚焦信息。
22、 根据权利要求 15-21 任一项所述的装置， 其特征在于， 所述处理模 块还用于根据所述用户输入确定显示信息， 所述显示信息包括重聚焦图像的 发散中心和 /或显示次序； 所述显示设备具体用于从所述发散中心开始， 由内向外或由外向内的显 示所述重聚焦图像； 或者， 在所述显示设备上按照所述显示次序依次， 或交 互， 或同时的显示所述重聚焦图像。
23、 根据权利要求 20所述的装置， 其特征在于， 所述处理模块还包括计 算单元， 用于计算各所述重聚焦区域中的景物的深度区间信息和 /或像素区间 信息， 作为所述重聚焦信息， 其中， 所述深度区间信息包括至少一个深度平 面， 所述像素区间信息包括以下任意一种或几种信息： 像素坐标信息、 强度 信息、 颜色信息和聚焦信息。
24、 根据权利要求 15所述的装置， 其特征在于， 所述处理模块还用于： 在用户输入用例集中匹配所述用户输入， 根据所述用户输入在所述显示 图像中确定与所述用户输入对应的深度区间信息和 /或像素区间信息， 作为所 述重聚焦信息。
25、 根据权利要求 21或 22所述的装置， 其特征在于， 所述显示模块还 用于在所述显示设备上显示相应的所述深度区间信息、 所述像素区间信息和 景深信息。
26、根据权利要求 20所述的装置，其特征在于，所述处理模块具体用于: 基于所述重聚焦信息对所述显示图像所对应的数据进行处理以合成一张 多个深度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像； 对应地， 在所述显示设备上显示所述重聚焦图像包括： 显示一张多个深 度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像。
27、根据权利要求 21所述的装置，其特征在于，所述显示模块具体用于: 从所述重聚焦区域的发散中心对应的重聚焦图像开始， 按照预设的顺序 依次显示各所述重聚焦图像。
28、根据权利要求 21所述的装置，其特征在于，所述显示模块具体用于: 根据预定义信息显示所述重聚焦图像， 所述预定义信息包括预定义的所 述发散中心、 所述显示次序和所述显示图形对象。
29、 一种电子设备， 包括至少一个处理器、 内存控制器、 外围设备接口 和输入输出系统， 所述输入输出系统至少连接有显示设备和用户输入设备， 其特征在于， 还包括： 权利要求 15-28任一所述的多深度区间的重聚焦装置。
30、 根据权利要求 29所述的电子设备， 其特征在于， 所述用户输入设备 为触摸屏、 触摸板、 姿态传感器和 /或动作跟踪模块。
31、 根据权利要求 30所述的电子设备， 其特征在于， 所述显示设备用于 显示重聚焦交互前或重聚焦过程中的图像和图形对象。
PCT/CN2014/080053 2013-07-10 2014-06-17 多深度区间的重聚焦方法、装置及电子设备 WO2015003544A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016524663A JP6369842B2 (ja) 2013-07-10 2014-06-17 多深度間隔の再合焦方法および装置および電子デバイス
KR1020167000950A KR20160019548A (ko) 2013-07-10 2014-06-17 다중 심도 구간 재초점 방법 및 장치 그리고 전자 장치
EP14822408.2A EP3021206B1 (en) 2013-07-10 2014-06-17 Method and device for refocusing multiple depth intervals, and electronic device
US14/977,966 US10203837B2 (en) 2013-07-10 2015-12-22 Multi-depth-interval refocusing method and apparatus and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310288099.5 2013-07-10
CN201310288099.5A CN104281397B (zh) 2013-07-10 2013-07-10 多深度区间的重聚焦方法、装置及电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/977,966 Continuation US10203837B2 (en) 2013-07-10 2015-12-22 Multi-depth-interval refocusing method and apparatus and electronic device

Publications (1)

Publication Number Publication Date
WO2015003544A1 true WO2015003544A1 (zh) 2015-01-15

Family

ID=52256322

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/080053 WO2015003544A1 (zh) 2013-07-10 2014-06-17 多深度区间的重聚焦方法、装置及电子设备

Country Status (6)

Country Link
US (1) US10203837B2 (zh)
EP (1) EP3021206B1 (zh)
JP (1) JP6369842B2 (zh)
KR (1) KR20160019548A (zh)
CN (1) CN104281397B (zh)
WO (1) WO2015003544A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6320075B2 (ja) * 2014-02-19 2018-05-09 キヤノン株式会社 画像処理装置およびその制御方法
CN105335950B (zh) * 2014-05-28 2019-02-12 华为技术有限公司 图像处理方法和图像处理装置
US20170054897A1 (en) * 2015-08-21 2017-02-23 Samsung Electronics Co., Ltd. Method of automatically focusing on region of interest by an electronic device
EP3151534A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Method of refocusing images captured by a plenoptic camera and audio based refocusing image system
TWI589150B (zh) * 2016-03-04 2017-06-21 液態三維系統有限公司 ３ｄ自動對焦顯示方法及其系統
JP6752681B2 (ja) * 2016-10-19 2020-09-09 キヤノン株式会社 表示制御装置、表示制御装置の制御方法及びプログラム並びに記憶媒体
EP3547661A4 (en) * 2016-11-28 2019-12-04 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
CN107783704B (zh) * 2017-09-27 2021-07-23 北京小米移动软件有限公司 图片效果的调整方法、装置及终端
CN108063894B (zh) * 2017-12-22 2020-05-12 维沃移动通信有限公司 一种视频处理方法及移动终端
CN108600623B (zh) * 2018-04-20 2020-07-28 维沃移动通信有限公司 重聚焦显示方法以及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080131019A1 (en) * 2006-12-01 2008-06-05 Yi-Ren Ng Interactive Refocusing of Electronic Images
US7623726B1 (en) * 2005-11-30 2009-11-24 Adobe Systems, Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置
US20130044256A1 (en) * 2011-08-19 2013-02-21 Canon Kabushiki Kaisha Image processing method, image pickup apparatus, image processing apparatus, and non-transitory computer-readable storage medium
CN103024261A (zh) * 2011-09-20 2013-04-03 佳能株式会社 摄像装置及其控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002262169A (ja) * 2001-02-27 2002-09-13 Sony Corp 撮像装置および方法
KR101373333B1 (ko) 2007-07-11 2014-03-10 엘지전자 주식회사 터치인식을 통한 영상촬영 기능을 구비한 휴대 단말기 및그 촬영방법
US8441441B2 (en) * 2009-01-06 2013-05-14 Qualcomm Incorporated User interface for mobile devices
US20110273369A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
JP5849389B2 (ja) * 2010-11-04 2016-01-27 株式会社リコー 撮像装置および撮像方法
US20120120277A1 (en) 2010-11-16 2012-05-17 Apple Inc. Multi-point Touch Focus
JP5451665B2 (ja) * 2011-02-21 2014-03-26 株式会社デンソーアイティーラボラトリ 文字入力装置、文字入力方法、及びプログラム
JP5497708B2 (ja) * 2011-08-31 2014-05-21 楽天株式会社 携帯型電子機器、携帯型電子機器の制御方法、プログラム、及び情報記憶媒体
JP5822613B2 (ja) * 2011-09-12 2015-11-24 キヤノン株式会社 画像処理装置および画像処理方法
WO2013043761A1 (en) * 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) * 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
JP2013088579A (ja) * 2011-10-17 2013-05-13 Olympus Imaging Corp 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623726B1 (en) * 2005-11-30 2009-11-24 Adobe Systems, Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
US20080131019A1 (en) * 2006-12-01 2008-06-05 Yi-Ren Ng Interactive Refocusing of Electronic Images
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置
US20130044256A1 (en) * 2011-08-19 2013-02-21 Canon Kabushiki Kaisha Image processing method, image pickup apparatus, image processing apparatus, and non-transitory computer-readable storage medium
CN103024261A (zh) * 2011-09-20 2013-04-03 佳能株式会社 摄像装置及其控制方法

Also Published As

Publication number Publication date
CN104281397A (zh) 2015-01-14
US10203837B2 (en) 2019-02-12
JP6369842B2 (ja) 2018-08-08
CN104281397B (zh) 2018-08-14
EP3021206A1 (en) 2016-05-18
EP3021206B1 (en) 2020-02-05
JP2016525747A (ja) 2016-08-25
EP3021206A4 (en) 2016-06-29
US20160117077A1 (en) 2016-04-28
KR20160019548A (ko) 2016-02-19

Similar Documents

Publication Publication Date Title
WO2015003544A1 (zh) 多深度区间的重聚焦方法、装置及电子设备
US20220084279A1 (en) Methods for manipulating objects in an environment
CN110944727B (zh) 控制虚拟照相机的系统和方法
JP7457082B2 (ja) 反応型映像生成方法及び生成プログラム
EP1292877B1 (en) Apparatus and method for indicating a target by image processing without three-dimensional modeling
KR101196291B1 (ko) 손가락의 움직임을 인식하여 ３ｄ인터페이스를 제공하는 단말기 및 그 방법
JP5689953B2 (ja) アニメーション著作システムおよびアニメーション著作方法
Telkenaroglu et al. Dual-finger 3d interaction techniques for mobile devices
Mohr et al. Mixed reality light fields for interactive remote assistance
CN103426202A (zh) 三维全景互动移动终端展示系统及展示方法
KR20130078322A (ko) 3ｄ 영상 제어 장치 및 방법
WO2013149475A1 (zh) 一种用户界面的控制方法及装置
Laielli et al. Labelar: a spatial guidance interface for fast computer vision image collection
CN111161396B (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
Ye et al. 3D curve creation on and around physical objects with mobile AR
KR20180045668A (ko) 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
KR101743888B1 (ko) 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
US20230377259A1 (en) Systems, methods, and user interfaces for generating a three-dimensional virtual representation of an object
US20230377299A1 (en) Systems, methods, and user interfaces for generating a three-dimensional virtual representation of an object
Vincent Handheld augmented reality interaction: spatial relations
Mohr-Ziak et al. Mixed reality light fields for interactive remote assistance
WO2017096802A1 (zh) 基于手势的操作组件控制方法、设备、计算机程序和存储介质
Rasakatla et al. Optical flow based head tracking for camera mouse, immersive 3D and gaming
KR20160017020A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
KR20150142555A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14822408

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014822408

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016524663

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20167000950

Country of ref document: KR

Kind code of ref document: A