WO2021175014A1 - 追焦方法及相关设备 - Google Patents

追焦方法及相关设备 Download PDF

Info

Publication number
WO2021175014A1
WO2021175014A1 PCT/CN2021/071266 CN2021071266W WO2021175014A1 WO 2021175014 A1 WO2021175014 A1 WO 2021175014A1 CN 2021071266 W CN2021071266 W CN 2021071266W WO 2021175014 A1 WO2021175014 A1 WO 2021175014A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus
target
module
tracking
camera
Prior art date
Application number
PCT/CN2021/071266
Other languages
English (en)
French (fr)
Inventor
王文东
Original Assignee
Oppo广东移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo广东移动通信有限公司 filed Critical Oppo广东移动通信有限公司
Publication of WO2021175014A1 publication Critical patent/WO2021175014A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters

Definitions

  • This application relates to the field of electronic technology, in particular to a focus tracking method and related equipment.
  • the embodiment of the present application provides a focus tracking method and related equipment, which solves the problem of out-of-focus during the imaging process and improves the imaging quality.
  • an embodiment of the present application provides a focus tracking method, which is applied to an electronic device including an eye tracking module and a focus tracking module, and the method includes:
  • Determining a focus tracking target based on the gaze position, and the at least one target to be photographed includes the focus tracking target;
  • the focus tracking module is used to track the focus of the focus tracking target.
  • an embodiment of the present application provides a focus tracking device, which is applied to an electronic device including an eye tracking module and a focus tracking module, and the device includes:
  • a display unit configured to display a camera preview picture, the camera preview picture including at least one target to be photographed;
  • the focus tracking unit is used for tracking the focus of the focus tracking target through the focus tracking module.
  • an embodiment of the present application provides a computer-readable storage medium, wherein the above-mentioned computer-readable storage medium stores a computer program for electronic data exchange, wherein the above-mentioned computer program enables a computer to execute Part or all of the steps described in the method described in one aspect.
  • the embodiments of the present application provide a computer program product, wherein the computer program product includes a non-transitory computer-readable storage medium storing a computer program, and the computer program is operable to cause a computer to execute as implemented in this application. Examples include part or all of the steps described in the method described in the first aspect.
  • the computer program product may be a software installation package.
  • FIG. 1A is a schematic structural diagram of an electronic device hardware provided by an embodiment of the present application.
  • FIG. 1B is a software architecture diagram of a focus tracking system provided by an embodiment of the present application.
  • FIG. 2 is a schematic flowchart of a focus tracking method provided by an embodiment of the present application.
  • FIG. 3 is a schematic flowchart of a focus tracking method provided by an embodiment of the present application.
  • FIG. 4 is a schematic structural diagram of an electronic device provided by an embodiment of the present application.
  • Fig. 5 is a schematic structural diagram of a focus tracking device provided by an embodiment of the present application.
  • the camera module may include a first camera module and a second camera module.
  • the first camera module may be a macro camera or a super macro camera
  • the second camera may be a wide-angle camera or a telephoto camera.
  • the camera or the ultra-wide-angle camera, etc., are not limited here; the above-mentioned camera may include a front camera or a rear camera, which is not limited here.
  • the sensor includes at least one of the following: a light sensor, a gyroscope, an eye tracking sensor, a fingerprint sensor, a pressure sensor, and so on.
  • the light sensor also called the ambient light sensor, is used to detect the brightness of the ambient light.
  • the light sensor may include a light sensitive element and an analog-to-digital converter.
  • the photosensitive element is used to convert the collected optical signal into an electric signal
  • the analog-to-digital converter is used to convert the above-mentioned electric signal into a digital signal.
  • the light sensor may further include a signal amplifier, and the signal amplifier may amplify the electrical signal converted by the photosensitive element and then output it to the analog-to-digital converter.
  • the processor is the control center of the electronic device. It uses various interfaces and lines to connect the various parts of the entire electronic device. By running or executing software programs and/or modules stored in the memory, and calling data stored in the memory, Perform various functions of the electronic device and process data to monitor the electronic device as a whole.
  • the processor can be integrated with an application processor and a modem processor.
  • the application processor mainly processes an operating system, a user interface, and an application program
  • the modem processor mainly processes wireless communications. It can be understood that the foregoing modem processor may not be integrated into the processor.
  • FIG. 1B is a software architecture diagram of a focus tracking system provided by an embodiment of the present application.
  • the software architecture diagram can be applied to Android system, IOS system or Windows system, and it is not limited here.
  • the software architecture diagram includes application layer, framework layer and hardware abstraction layer.
  • the application layer includes applications such as e-books, browsers, launchers, unlocking, mobile payments, cameras, and eye tracking.
  • the framework layer includes the eye tracking service (OEyeTrackerService) module, the eye tracking authorization (OEyeTrackerAuthentication) module, the eye tracking strategy (OEyeTrackerStrategy) module, the eye tracking algorithm (OEyeTrackerAlgo) module and the eye tracking parameter (OEyeTrackerParams) module, etc.
  • Google HAL Interface is connected with CameraService module of framework layer
  • Qualcomm HAL Interface is connected with Google HAL Interface is connected to the tracking focus module
  • Cam X is connected to Qualcomm HAL Interface and Chi-cdk respectively.
  • the connection between the OEyeTrackerService module and the OEyeTrackerSDK, the connection between the CameraService module and the CameraNDKInterface, and the connection between the Google HAL Interface and the CameraService module are all through the Binder architecture.
  • the OEyeTrackerSDK interface is responsible for providing the camera application with the api for obtaining the gaze point and input, in the form of a jar/aar package.
  • the OEyeTrackerService module is responsible for managing the fixation algorithm, fixation post-processing, input processing, authentication and parameter settings.
  • the EyeTrackerAlgo module is the core algorithm module of eye tracking, including the target eye tracking algorithm in this application.
  • the OEyeTrackerStrategy module is related to the post-processing of the algorithm, such as filtering, gaze jumping, gaze-to-monitoring, and gaze input.
  • the OEyeTrackerAuthentication module calls back each module and is responsible for authenticating whether the requester is allowed.
  • the OEyeTrackerParam module is responsible for parsing configuration and hot update configuration.
  • the focus tracking module is mainly used to track the target, and the focus tracking module can also achieve focus adjustment by switching the camera module to achieve the purpose of tracking focus.
  • FIG. 2 is a schematic flowchart of a focus tracking method provided by an embodiment of the present application, which is applied to an electronic device including an eye tracking module and a focus tracking module, and the method includes:
  • Step 201 Display a camera preview screen, where the camera preview screen includes at least one target to be photographed.
  • the electronic device includes a camera module
  • the camera preview image is collected by the camera module
  • the camera module includes a first camera module and a second camera module.
  • the first camera module and/or the second camera module may be a front camera or a rear camera, which is not limited here.
  • Step 202 Determine the gaze position of the user gazing at the camera preview screen through the eye tracking module.
  • Step 203 Determine a focus tracking target based on the gaze position, and the at least one target to be photographed includes the focus tracking target.
  • the gaze position is represented by the coordinates of the gaze point
  • the determination of the focus tracking target based on the gaze position includes: an electronic device determines at least one area where the at least one target to be photographed is located; and the electronic device determines the gaze The target area to which the coordinates of the point belong in the at least one area; the electronic device determines the target to be photographed corresponding to the target area as the focus tracking target.
  • the identification information of the focus tracking target may be, for example, the coordinate point of the focus tracking target on the screen, the color of the focus tracking target, or other characteristic information of the focus tracking target; for example, if the focus tracking target is a person, the characteristic information may be, for example, Eyes, mouths, noses, etc., if the focus tracking target is a tree, the characteristic information can be, for example, tree crowns, tree roots, tree trunks, etc., which will not be illustrated one by one here.
  • the eye tracking module determines the gaze position of the user gazing at the camera preview screen, and then determines the focus tracking based on the gaze position Target, the aforementioned at least one target to be photographed includes the focus tracking target, and finally the focus tracking target is tracked through the focus tracking module, which realizes the positioning and tracking of the focus tracking through the eye tracking module and the focus tracking module, which is conducive to solving The out-of-focus problem during the shooting process improves the image quality.
  • the electronic device further includes a camera module
  • the camera preview image is collected by the camera module
  • the tracking of the focus tracking target by the focus tracking module includes :
  • the focus tracking module is used to track the focus of the focus tracking target based on the distance.
  • the method for determining the relative position of the focus tracking target and the camera module may be determined by the electronic device through a ranging module included therein, such as a Time Of Flight (TOF) module, or may also be determined based on other methods.
  • a ranging module included therein such as a Time Of Flight (TOF) module
  • TOF Time Of Flight
  • the distance required for the camera module to focus can be, for example, 12 mm, 14 mm, 16 mm, or other values, which are not limited here.
  • the distance required by the camera module to focus has a one-to-one correspondence with the relative position of the focus tracking target and the camera module.
  • the relative position of the focus tracking target and the camera module is 7m, and the distance required for the camera module to focus may be, for example, 12mm.
  • the focus tracking module locates and tracks the focus tracking target based on the identification information of the focus tracking target, and the focus tracking module performs focusing based on the distance required by the camera module to focus, thereby achieving the focus tracking target Chase focus.
  • the electronic device further includes a display screen
  • the determining the relative position of the focus tracking target and the camera module includes:
  • the size of the focus tracking target in the camera preview interface (the area occupied by the area) is inversely proportional to the distance.
  • the larger the area occupied the closer the distance and the larger the area occupied.
  • the smaller the distance the farther the distance.
  • the electronic device further includes an eye tracking sensor, and determining the gaze position of the user gazing at the camera preview screen by the eye tracking module includes:
  • the gaze data can be images, videos, videos, or other data, which is not limited here.
  • the electronic device includes an eye-tracking application, and acquiring gaze data through the eye-tracking sensor includes:
  • the gaze data acquisition request is received through the eye tracking sensor to acquire gaze data.
  • the eye-tracking module further includes an eye-tracking service module and an eye-tracking algorithm module.
  • the eye-tracking module calls a target eye-tracking algorithm to process the gaze data to obtain target data, including:
  • the eye tracking algorithm module enables the target eye tracking algorithm to calculate the gaze data to obtain target data.
  • the eye tracking module further includes an eye tracking strategy module, and the determining the gaze position of the user gazing at the camera preview screen based on the target data includes:
  • the eye tracking strategy module receives the target data sent by the eye tracking algorithm module, and determines the gaze position of the user gazing at the camera preview screen based on the target data.
  • the specific implementation of the target eye tracking algorithm is as follows:
  • the (x s ', y s ') is the target data
  • the (v x ', v y ') is the gaze data
  • the a 0 , a 1 , a 2 , a 3 , a 4 , a 5 and b 0 , b 1 , b 2 , b 3 , b 4 , and b 5 are pre-configured gaze position determination parameters.
  • the eye-tracking sensor emits infrared rays, and 5 bright spots are sequentially generated on the human eye.
  • the 5 bright spots are gaze data.
  • the 5 gaze data can be calculated to get 5 target data, and then the 5 targets
  • the data is filtered, for example, data that is greater than or equal to the first threshold is deleted, and data that is light rain or equal to the second threshold is deleted, and then the remaining target data is averaged to obtain the gaze position.
  • the eye tracking module further includes an eye tracking parameter module, and before the target eye tracking algorithm is enabled by the eye tracking algorithm module to calculate the gaze data and the target data is obtained, the method further includes:
  • the second configuration information sent by the eye tracking parameter module is received by the eye tracking algorithm module, and the target eye tracking algorithm is determined based on the second configuration information.
  • the identification information of the camera application may be, for example, the name, version number, and authentication code of the camera application. Different identification information corresponds to different first configuration information. For example, different identification information needs to determine different numbers of gaze points. Different numbers of gaze points correspond to different first configuration information.
  • the identification information of the camera application is verified by the eye tracking authentication module, and the verification is passed.
  • the identification information of the camera application is an authentication code
  • the eye-tracking authentication module verifies the identification information of the camera application, and the verification is passed, including: the eye-tracking authentication module obtains the The asymmetric key of the camera application uses the asymmetric private key to decrypt the authentication code of the camera application to obtain the APP signature key, system date, and appointment fields of the camera application; The APP signature key, the system date, and the agreed field confirm that the verification is passed.
  • the asymmetric private key is one of the key pairs in asymmetric encryption
  • the asymmetric encryption algorithm requires two keys: a public key (publickey: public key for short) and a private key (privatekey: private key for short).
  • the public key and the private key are a pair. If the public key is used to encrypt the data, only the corresponding private key can be used to decrypt it. Because encryption and decryption use two different keys, this algorithm is called an asymmetric encryption algorithm.
  • Party A generates a pair of keys and makes the public key public, and other roles that need to send information to Party A, that is, Party B uses the public key to encrypt the confidential information before sending it To Party A, Party A uses its own private key to decrypt the encrypted information.
  • the identification information of the camera is authenticated by the eye tracking authentication module, which is beneficial to improve the security protection inside the software system.
  • the operating frequency of the eye tracking sensor is determined based on the operating frequency of the camera module.
  • each time the camera module obtains a frame of camera preview image the eye tracking sensor obtains one frame of gaze data; or, every time the camera module obtains a preset number of camera preview images, the eye tracking sensor obtains one frame of gaze data.
  • the working frequency of the two can be the same or different, which is not limited here.
  • determining the operating frequency of the eye tracking sensor based on the operating frequency of the camera module is beneficial to maintaining the coordination of the work of the eye tracking module and the focus tracking module.
  • the method further includes:
  • the specific implementation of the target detection algorithm is as follows:
  • FIG. 3 is a schematic flowchart of a focus tracking method provided by an embodiment of the present application, which is applied to an electronic device including an eye tracking module, a focus tracking module, a camera module, and an eye tracking sensor.
  • the operating frequency of the camera module is determined based on the operating frequency of the camera module, the camera module includes a first camera module and a second camera module, the focus range of the first camera module is a first focal length range, and the second camera module
  • the focus range of the camera module is the second focal length range; the method includes:
  • Step 301 Display a camera preview screen, the camera preview screen being collected by the first camera module.
  • Step 302 Invoke a target detection algorithm to process the camera preview image, and determine at least one target to be photographed.
  • Step 303 Obtain gaze data through the eye tracking sensor.
  • Step 304 Call the target eye tracking algorithm through the eye tracking module to process the gaze data to obtain target data.
  • Step 306 Determine a focus tracking target based on the gaze position, and the at least one target to be photographed includes the focus tracking target.
  • Step 307 Determine the first area of the area occupied by the focus tracking target in the display screen, and determine the second area of the area occupied by the camera preview image in the display screen.
  • Step 308 Determine the relative position of the focus tracking target and the camera module based on the ratio of the first area to the second area.
  • Step 309 Determine the distance required for the camera module to focus based on the relative position.
  • Step 310 If the distance is within the first focal length range, the focus tracking module controls the first camera module to follow the focus of the focus tracking target.
  • FIG. 4 is a schematic structural diagram of an electronic device provided by an embodiment of the present application.
  • the electronic device includes an eye tracking module and a focus tracking module.
  • An interface and one or more programs wherein the one or more programs are stored in the memory and are configured to be executed by the processor, and the programs include instructions for executing the following steps:
  • the focus tracking module is used to track the focus of the focus tracking target.
  • the focus tracking module is used to track the focus of the focus tracking target based on the distance.
  • the camera module includes a first camera module and a second camera module
  • the focus range of the first camera module is a first focal length range
  • the second camera module The focus range is the second focus range
  • the camera preview image is collected by the first camera module; in terms of tracking the focus tracking target based on the distance by the focus tracking module, the above procedure includes Specific instructions used to perform the following steps:
  • the focus tracking module is used to switch the capture camera module of the camera preview screen from the first camera module to the second camera module, and through The focus tracking module controls the second camera module to perform focus tracking on the focus tracking target.
  • the gaze position of the user gazing at the camera preview screen is determined based on the target data.
  • the operating frequency of the eye tracking sensor is determined based on the operating frequency of the camera module.
  • FIG. 5 is a schematic structural diagram of a focus tracking device provided by an embodiment of the present application, which is applied to an electronic device including an eye tracking module and a focus tracking module, and the device includes:
  • the electronic device further includes a camera module, and the camera preview image is collected by the camera module.
  • the focus tracking unit 503 is specifically used for:
  • the focus tracking module is used to track the focus of the focus tracking target based on the distance.
  • the camera module includes a first camera module and a second camera module
  • the focus range of the first camera module is a first focal length range
  • the second camera module The focus range is the second focus range
  • the camera preview image is collected by the first camera module; in terms of tracking the focus tracking target by the focus tracking module based on the distance, the tracking
  • the focal unit 503 is specifically used for:
  • the focus tracking module is used to switch the capture camera module of the camera preview screen from the first camera module to the second camera module, and through The focus tracking module controls the second camera module to perform focus tracking on the focus tracking target.
  • the electronic device further includes a display screen.
  • the focus tracking unit 503 is specifically configured to:
  • the gaze position of the user gazing at the camera preview screen is determined based on the target data.
  • the operating frequency of the eye tracking sensor is determined based on the operating frequency of the camera module.
  • the embodiment of the present application also provides a chip, wherein the chip includes a processor, which is used to call and run a computer program from the memory, so that the device installed with the chip executes the method described in the electronic device in the above method embodiment. Part or all of the steps.
  • the disclosed device may be implemented in other ways.
  • the device embodiments described above are only illustrative, for example, the division of the above-mentioned units is only a logical function division, and there may be other divisions in actual implementation, for example, multiple units or components can be combined or integrated. To another system, or some features can be ignored, or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical or other forms.
  • the units described above as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional units in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit can be implemented in the form of hardware or software functional unit.
  • the above integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable memory.
  • the technical solution of the present application essentially or the part that contributes to the existing technology or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a memory.
  • a number of instructions are included to enable a computer device (which may be a personal computer, a server, or a network device, etc.) to execute all or part of the steps of the foregoing methods of the various embodiments of the present application.
  • the aforementioned memory includes: U disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), mobile hard disk, magnetic disk or optical disk and other media that can store program codes.
  • the program can be stored in a computer-readable memory, and the memory can include: a flash disk , Read-only memory (English: Read-Only Memory, abbreviation: ROM), random access device (English: Random Access Memory, abbreviation: RAM), magnetic disk or optical disc, etc.

Abstract

本申请公开了一种追焦方法及相关设备,应用于包括眼球追踪模块和焦点追踪模块的电子设备,所述方法包括:显示摄像预览画面,所述摄像预览画面包括至少一个待拍摄目标;通过所述眼球追踪模块确定用户注视所述摄像预览画面的注视位置;基于所述注视位置确定焦点追踪目标,所述至少一个待拍摄目标包括所述焦点追踪目标;通过所述焦点追踪模块对所述焦点追踪目标进行追焦。采用本申请实施例可解决摄像过程中的失焦问题,提升成像质量。

Description

追焦方法及相关设备 技术领域
本申请涉及电子技术领域,尤其涉及一种追焦方法及相关设备。
背景技术
随着电子技术的发展,带有摄像功能的电子设备成为人们当前不可或缺的工具。在使用电子设备给人或物拍照摄像时,现有技术通常是通过手指点击屏幕选中目标进行对焦,或者是基于人脸识别进行人物检测,基于检测结果自动对焦。当画面切换时,摄像焦点容易丢失,从而造成成像质量差。
发明内容
本申请实施例提供一种追焦方法及相关设备,解决摄像过程中的失焦问题,提升成像质量。
第一方面,本申请实施例提供一种追焦方法,应用于包括眼球追踪模块和焦点追踪模块的电子设备,所述方法包括:
显示摄像预览画面,所述摄像预览画面包括至少一个待拍摄目标;
通过所述眼球追踪模块确定用户注视所述摄像预览画面的注视位置;
基于所述注视位置确定焦点追踪目标,所述至少一个待拍摄目标包括所述焦点追踪目标;
通过所述焦点追踪模块对所述焦点追踪目标进行追焦。
第二方面,本申请实施例提供一种追焦装置,应用于包括眼球追踪模块和焦点追踪模块的电子设备,所述装置包括:
显示单元,用于显示摄像预览画面,所述摄像预览画面包括至少一个待拍摄目标;
确定单元,用于通过所述眼球追踪模块确定用户注视所述摄像预览画面的注视位置;基于所述注视位置确定焦点追踪目标,所述至少一个待拍摄目标包括所述焦点追踪目标;
追焦单元,用于通过所述焦点追踪模块对所述焦点追踪目标进行追焦。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面所述的方法中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备硬件的结构示意图;
图1B是本申请实施例提供的一种追焦系统的软件架构图;
图2是本申请实施例提供的一种追焦方法的流程示意图;
图3是本申请实施例提供的一种追焦方法的流程示意图;
图4是本申请实施例提供的一种电子设备的结构示意图;
图5是本申请实施例提供的一种追焦装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
以下,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。
如图1A所示,图1A是本申请实施例提供的一种电子设备硬件的结构示意图。该电子设备包括处理器、存储器、信号处理器、收发器、显示屏、扬声器、麦克风、随机存取存储器(Random Access Memory,RAM)、摄像模块和传感器等等。其中,存储器、信号处理器、显示屏、扬声器、麦克风、RAM、摄像模块、传感器与处理器连接,收发器与信号处理器连接。
其中,显示屏可以是液晶显示器(Liquid Crystal Display,LCD)、有机或无机发光二极管(Organic Light-Emitting Diode,OLED)、有源矩阵有机发光二极体面板(Active Matrix/Organic Light Emitting Diode,AMOLED)等。
其中,该摄像模块可以包括第一摄像模组、第二摄像模组,第一摄像模组例如可以为微距摄像头或是超微距摄像头,第二摄像头可以是广角摄像头,还可以为长焦摄像头或是超广角摄像头等等,在此不作限定;上述的摄像头可以包括前置摄像头或后置摄像头,在此不作限定。
其中,传感器包括以下至少一种:光感传感器、陀螺仪、眼球追踪传感器、指纹传感器、压力传感器等等。其中,光感传感器,也称为环境光传感器,用于检测环境光亮度。光感传感器可以包括光敏元件和模数转换器。其中,光敏元件用于将采集的光信号转换为电信号,模数转换器用于将上述电信号转换为数字信号。可选的,光线传感器还可以包括信号放大器,信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。其中,眼球追踪传感器例如可以是红外光(Infrared Radiation,IR)传感器,IR传感器用于暗亮交替地照射人眼,在人眼上产生亮斑(glint),摄像模组用于拍摄人眼,得到亮瞳和暗瞳隔帧交替出现的注视视频序列。
其中,处理器是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个 部分,通过运行或执行存储在存储器内的软体程序和/或模块,以及调用存储在存储器内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
其中,处理器可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器中。
其中,存储器用于存储软体程序和/或模块,处理器通过运行存储在存储器的软件程序和/或模块,从而执行电子设备的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的软体程序等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
如图1B所示,图1B是本申请实施例提供的一种追焦系统的软件架构图。该软件架构图可以应用于安卓(Android)系统、IOS系统或者是Windows系统,在此不做限定。该软件架构图包括应用层、框架层和硬件抽象层。其中,应用层包括电子书、浏览器、启动器、解锁、移动支付、相机、眼球追踪等应用。框架层包括眼球追踪服务(OEyeTrackerService)模块,眼球追踪授权(OEyeTrackerAuthentication)模块、眼球追踪策略(OEyeTrackerStrategy)模块、眼球追踪算法(OEyeTrackerAlgo)模块和眼球追踪参数(OEyeTrackerParams)模块等,框架层的OEyeTrackerService模块通过眼球追踪SDK(OEyeTrackerSDK)接口与应用层的应用连接起来;框架层还包括相机NDK界面(CameraNDKInterface)、相机服务(CameraService)模块,CameraNDKInterface与OEyeTrackerService模块连接,CameraService模块与CameraNDKInterface相互连接。硬件抽象层包括谷歌HAL界面(Google HAL Interface)、高通HAL界面(Qualcomm HAL Interface)、Cam X、Chi-cdk和追踪焦点模块等,Google HAL Interface与框架层的CameraService模块连接,Qualcomm HAL Interface与Google HAL Interface和追踪焦点模块连接,Cam X分别与Qualcomm HAL Interface和Chi-cdk连接。OEyeTrackerService模块与OEyeTrackerSDK之间的连接、CameraService模块与CameraNDKInterface之间的连接以及Google HAL Interface与CameraService模块之间的连接均通过Binder架构。
其中,OEyeTrackerSDK接口负责为相机应用提供获取注视点以及输入的api,形式为jar/aar包。OEyeTrackerService模块负责管理注视点算法、注视点后处理、输入处理以及鉴权和参数设置。EyeTrackerAlgo模块是眼球追踪的核心算法模块,包括本申请中的确定目标眼球追踪算法。OEyeTrackerStrategy模块与算法后处理相关,如滤波、注视点跳动、注视点转监听、注视点输入。OEyeTrackerAuthentication模块回调各模块,负责鉴权请求者是否被允许。OEyeTrackerParam模块负责解析配置和热更新配置。追踪焦点模块主要用于追踪目标,追踪焦点模块还可以通过切换摄像模组实现焦点调整,实现追焦的目的。
下面对本申请实施例进行详细介绍。
如图2所示,图2是本申请实施例提供的一种追焦方法的流程示意图,应用于包括眼球追踪模块和焦点追踪模块的电子设备,所述方法包括:
步骤201:显示摄像预览画面,所述摄像预览画面包括至少一个待拍摄目标。
其中,电子设备包括摄像模块,所述摄像预览画面是所述摄像模块采集得到的,所述摄像模块包括第一摄像模组和第二摄像模组。所述第一摄像模组和/或所述第二摄像模组可以是前置摄像头,也可以是后置摄像头,在此不做限定。
步骤202:通过所述眼球追踪模块确定用户注视所述摄像预览画面的注视位置。
步骤203:基于所述注视位置确定焦点追踪目标,所述至少一个待拍摄目标包括所述 焦点追踪目标。
具体地,所述注视位置用注视点的坐标表示,所述基于所述注视位置确定焦点追踪目标,包括:电子设备确定所述至少一个待拍摄目标所在的至少一个区域;电子设备确定所述注视点的坐标在所述至少一个区域中所属的目标区域;电子设备将所述目标区域对应的待拍摄目标确定为焦点追踪目标。
步骤204:通过所述焦点追踪模块对所述焦点追踪目标进行追焦。
具体地,所述电子设备还包括相机应用,相机NDK界面、相机服务模块、谷歌HAL界面和高通HAL界面,所述通过所述焦点追踪模块对所述焦点追踪目标进行追焦,包括:通过相机应用、相机NDK界面、相机服务模块、谷歌HAL界面和高通HAL界面向追踪焦点模块发送所述焦点追踪目标的标识信息;控制所述焦点追踪模块基于所述焦点追踪目标的标识信息对所述焦点追踪目标进行追焦。
其中,焦点追踪目标的标识信息例如可以为焦点追踪目标在屏幕上的坐标点,焦点追踪目标的颜色或者焦点追踪目标的其他特征信息;例如,若焦点追踪目标为人物,则特征信息例如可以为眼、口、鼻等等,若焦点追踪目标为树木,则特征信息例如可以为树冠、树根、树干等等,在此,不再一一举例说明。
可以看出,在本申请实施例中,电子设备显示的摄像预览画面包括至少一个待拍摄目标时,其通过眼球追踪模块确定用户注视该摄像预览画面的注视位置,进而基于该注视位置确定焦点追踪目标,上述至少一个待拍摄目标包括该焦点追踪目标,最后通过焦点追踪模块对该焦点追踪目标进行追焦,实现了通过眼球追踪模块和焦点追踪模块对焦点追踪进行定位和追焦,有利于解决摄像过程中的失焦问题,提升成像质量。
在本申请的一实现方式中所述电子设备还包括摄像模块,所述摄像预览画面是所述摄像模块采集得到的,所述通过所述焦点追踪模块对所述焦点追踪目标进行追焦,包括:
确定所述焦点追踪目标与所述摄像模块的相对位置;
基于所述相对位置确定所述摄像模块对焦需要的距离;
通过所述焦点追踪模块基于所述距离对所述焦点追踪目标进行追焦。
其中,所述焦点追踪目标与所述摄像模块的相对位置的确定方式可以是电子设备通过其包括的测距模块确定,例如飞行时间(Time Of Flight,TOF)模块,还可以基于其它方式确定,在此不做限定。
其中,摄像模块对焦需要的距离例如可以为12mm、14mm、16mm,或是其他值,在此不做限定。摄像模块对焦需要的距离与焦点追踪目标与摄像模块的相对位置具有一一对应的关系,例如焦点追踪目标与摄像模块的相对位置为7m,则摄像模块对焦需要的距离例如可以为12mm。
可以看出,在本申请实施例中,焦点追踪模块基于焦点追踪目标的标识信息对焦点追踪目标进行定位和跟踪,焦点追踪模块基于摄像模块对焦需要的距离进行对焦,从而实现了对焦点追踪目标的追焦。
在本申请的一实现方式中,所述摄像模块包括第一摄像模组和第二摄像模组,所述第一摄像模组的对焦范围为第一焦距范围,所述第二摄像模组的对焦范围为第二焦距范围,所述摄像预览画面是所述第一摄像模组采集得到的;所述通过所述焦点追踪模块基于所述距离对所述焦点追踪目标进行追焦,包括:
若所述距离处于所述第一焦距范围,则通过所述焦点追踪模块控制所述第一摄像模组对所述焦点追踪目标进行追焦;
若所述距离处于所述第二焦距范围,则通过所述焦点追踪模块将所述摄像预览画面的采集摄像模组从所述第一摄像模组切换至所述第二摄像模组,以及通过所述焦点追踪模块控制所述第二摄像模组对所述焦点追踪目标进行追焦。
其中,第二焦距范围可以与第一焦距范围存在部分重合或包括第一焦距范围,第二焦距范围与第一焦距范围也可以为互补的关系。例如广角摄像模组的焦距范围一般为28mm-34mm,标准摄像模组的焦距范围一般为70mm-135mm,长焦摄像模组的焦距范围一般为85mm-300mm,则第一摄像模组例如可以为广角摄像模组,第二摄像模组例如可以为标准摄像模组或长焦摄像模组;或者,第一摄像模组例如可以为标准摄像模组,第二摄像模组例如可以为广角摄像模组或长焦摄像模组;第一摄像模组例如可以为长焦摄像模组,第二摄像模组例如可以为标准摄像模组或广角摄像模组。
可以看出,在本申请实施例中,通过判断摄像模块对焦需要的距离所处的焦距范围去选择当前采集摄像预览画面的摄像模组,能够避免由于对焦需要的距离过远或过近造成无法追焦的问题。
在本申请的一实现方式中,所述电子设备还包括显示屏,所述确定所述焦点追踪目标与所述摄像模块的相对位置,包括:
确定所述焦点追踪目标在所述显示屏中所占区域的第一面积,以及确定所述摄像预览画面在所述显示屏中所占区域的第二面积;
基于所述第一面积与所述第二面积的比值,确定所述焦点追踪目标与所述摄像模块的相对位置。
其中,在摄像预览画面一定时,焦点追踪目标在摄像预览界面中的大小(所占区域的面积)与距离成反比,所占区域的面积越大,则距离越近,所占区域的面积越小,则距离越远。
可以看出,在本申请实施例中,以显示屏为参考目标,分别确定摄像预览画面和焦点追踪目标在显示屏中所占区域的面积,然后根据两者面积的比值确定焦点追踪目标与摄像模块的相对位置,提高了相对位置确定的准确度,从而也提升了后续追焦的准确度。
在本申请的一实现方式中,所述电子设备还包括眼球追踪传感器,所述通过所述眼球追踪模块确定用户注视所述摄像预览画面的注视位置,包括:
通过所述眼球追踪传感器获取注视数据;
通过所述眼球追踪模块调用目标眼球追踪算法处理所述注视数据,得到目标数据;
基于所述目标数据确定用户注视所述摄像预览画面的注视位置。
其中,注视数据可以是图像、视频、录像,也可以是其他数据,在此不作限定。
其中,眼球追踪传感器例如可以为红外传感器。红外传感器发射红外线,用于暗亮交替地照射人眼,在人眼上产生亮斑(glint),摄像装置拍摄人眼,得到亮瞳和暗瞳隔帧交替出现的注视数据。
具体地,所述电子设备包括眼球追踪应用,所述通过所述眼球追踪传感器获取注视数据,包括:
通过所述眼球追踪应用向所述眼球追踪传感器发送注视数据获取请求;
通过所述眼球追踪传感器接收所述注视数据获取请求,获取注视数据。
具体地,所述眼球追踪模块还包括眼球追踪服务模块和眼球追踪算法模块,所述通过所述眼球追踪模块调用目标眼球追踪算法处理所述注视数据,得到目标数据,包括:
通过所述眼球追踪服务模块向所述眼球追踪算法模块发送注视数据;
通过所述眼球追踪算法模块使能目标眼球追踪算法计算所述注视数据,得到目标数据。
具体地,所述眼球追踪模块还包括眼球追踪策略模块,所述基于所述目标数据确定用户注视所述摄像预览画面的注视位置,包括:
通过所述眼球追踪策略模块接收所述眼球追踪算法模块发送的目标数据,基于所述目标数据确定用户注视所述摄像预览画面的注视位置。
具体地,目标眼球追踪算法的具体实现方式如下:
x s’=a 0+a 1*v x’+a 2*v y’+a 3*v x2+a 4*v y2+a 5*v x’*v y’,
y s’=b 0+b 1*v x’+b 2*v y’+b 3*v x2+b 4*v y2+b 5*v x’*v y’;
其中,所述(x s’,y s’)为所述目标数据,所述(v x’,v y’)为所述注视数据,所述a 0、a 1、a 2、a 3、a 4、a 5和b 0、b 1、b 2、b 3、b 4、b 5为预先配置的注视位置确定参数。
举例说明,眼球追踪传感器发出红外线,在人眼上依次产生5个亮斑,则这5个亮斑则为注视数据,则计算这5个注视数据可以得到5个目标数据,然后对5个目标数据进行过滤,例如删除大于或等于第一阈值的数据,且删除小雨或等于第二阈值的数据,然后将剩余的目标数据取平均值,得到注视位置。
进一步地,所述眼球追踪模块还包括眼球追踪参数模块,所述通过所述眼球追踪算法模块使能目标眼球追踪算法计算所述注视数据,得到目标数据之前,所述方法还包括:
向所述眼球追踪服务模块发送所述相机应用的标识信息;
通过所述眼球追踪服务模块基于所述相机应用的标识信息确定目标眼球追踪功能的第一配置信息;
通过所述眼球追踪参数模块接收所述眼球追踪服务模块发送的所述第一配置信息,将所述第一配置信息转换为所述眼球追踪算法模块允许识别的第二配置信息;
通过所述眼球追踪算法模块接收所述眼球追踪参数模块发送的所述第二配置信息,以及基于所述第二配置信息确定所述目标眼球追踪算法。
其中,所述相机应用的标识信息例如可以为相机应用的名称、版本号、鉴权码,不同的标识信息对应不同的第一配置信息,例如不同的标识信息需要确定的注视点个数不同,不同个数的注视点对应不同的第一配置信息。
进一步地,所述眼球追踪模块还包括眼球追踪鉴权模块,所述向所述眼球追踪服务模块发送所述相机应用的标识信息之后,所述方法还包括:
通过所述眼球追踪鉴权模块对所述相机应用的标识信息进行校验,且校验通过。
进一步地,所述相机应用的标识信息为鉴权码,所述眼球追踪鉴权模块对所述相机应用的标识信息进行校验,且校验通过,包括:所述眼球追踪鉴权模块获取所述相机应用的非对称密钥,使用所述非对称私钥解密所述相机应用的鉴权码得到所述相机应用的APP签名key、系统日期、约定字段;所述眼球追踪鉴权模块根据所述APP签名key、所述系统日期、所述约定字段确定校验通过。
其中,非对称私钥是非对称加密中密钥对中的一个,非对称加密算法需要两个密钥:公开密钥(publickey:简称公钥)和私有密钥(privatekey:简称私钥)。公钥与私钥是一对,如果用公钥对数据进行加密,只有用对应的私钥才能解密。因为加密和解密使用的是两个不同的密钥,所以这种算法叫作非对称加密算法。非对称加密算法实现机密信息交换的基本过程是:甲方生成一对密钥并将公钥公开,需要向甲方发送信息的其他角色,即乙方使用该公钥对机密信息进行加密后再发送给甲方,甲方再用自己私钥对加密后的信息进行解密。
具体实现中,APP签名key可以理解为安装所述相机应用的许可,下载所述相机应用到电子设备之后,将所述相机应用给到内部的服务器,内部服务器根据该所述相机应用的APP签名key、系统日期、约定字段等信息使用非对称公钥加密得到鉴权码,该鉴权码可以作为所述相机应用的标识信息,眼球追踪鉴权模块在收到来自所述相机应用的鉴权码之后,会获取预先配置的与公钥对应的该相机应用的非对称私钥,然后用这个非对称私钥对鉴权码解密,得到该相机应用的APP签名key、系统日期、约定字段等信息,然后系统对这些信息进行判断,如果信息无误校验通过。
可以看出,在本申请实施例中,在调用目标眼球追踪算法前,通过眼球追踪鉴权模块对相机的标识信息进行鉴权,有利于提高软件系统内部的安全保护。
在本申请的一实现方式中,所述眼球追踪传感器的工作频率基于所述摄像模块的工作频率确定。
其中,摄像模块每获取一帧摄像预览画面,则眼球追踪传感器获取一帧注视数据;或者,摄像模块每获取预设帧数摄像预览画面,眼球追踪传感器获取一帧注视数据。两者的工作频率可以相同,也可以不同,在此不做限定。
可以看出,在本申请实施例中,基于摄像模块的工作频率去确定眼球追踪传感器的工作频率,有利于保持眼球追踪模块与焦点追踪模块两个模块工作的协调性。
在本申请的一实现方式中,所述显示摄像预览画面之后,所述方法还包括:
调用目标检测算法处理所述摄像预览画面,确定所述至少一个待拍摄目标。
具体地,所述目标检测算法的具体实现方式如下:
将所述摄像预览画面的每一个像素作为一组待处理数据,得到多组待处理数据;确定每组待处理数据的纹理;将每组待处理数据的纹理与其相邻的待处理数据的纹理进行比较;若存在纹理小于或等于预设纹理阈值的待处理数据,则将存在纹理小于或等于预设纹理阈值的待处理数据进行合并,得到新的待处理数据;重复将每组待处理数据的纹理与其相邻的待处理数据的纹理进行比较的步骤,直至不存在纹理小于或等于预设纹理阈值的待处理数据;将每个待处理数据对应的图像区域确定为待拍摄目标。
其中,纹理指的是像素与像素之间由于像素值不同造成的界限。
可以看出,在本申请实施例中,调用目标检测算法处理摄像预览画面,确定至少一个待拍摄目标,有利于准确地识别摄像预览画面,得到待拍摄目标,从而提高了后续判断注视位置在哪个待拍摄目标上的准确性。
如图3所示,图3是本申请实施例提供的一种追焦方法的流程示意图,应用于包括眼球追踪模块、焦点追踪模块、摄像模块和眼球追踪传感器的电子设备,所述眼球追踪传感器的工作频率基于所述摄像模块的工作频率确定,所述摄像模块包括第一摄像模组和第二摄像模组,所述第一摄像模组的对焦范围为第一焦距范围,所述第二摄像模组的对焦范围为第二焦距范围;所述方法包括:
步骤301:显示摄像预览画面,所述摄像预览画面是所述第一摄像模组采集得到的。
步骤302:调用目标检测算法处理所述摄像预览画面,确定至少一个待拍摄目标。
步骤303:通过所述眼球追踪传感器获取注视数据。
步骤304:通过所述眼球追踪模块调用目标眼球追踪算法处理所述注视数据,得到目标数据。
步骤305:基于所述目标数据确定用户注视所述摄像预览画面的注视位置。
步骤306:基于所述注视位置确定焦点追踪目标,所述至少一个待拍摄目标包括所述焦点追踪目标。
步骤307:确定所述焦点追踪目标在所述显示屏中所占区域的第一面积,以及确定所述摄像预览画面在所述显示屏中所占区域的第二面积。
步骤308:基于所述第一面积与所述第二面积的比值,确定所述焦点追踪目标与所述摄像模块的相对位置。
步骤309:基于所述相对位置确定所述摄像模块对焦需要的距离。
步骤310:若所述距离处于所述第一焦距范围,则通过所述焦点追踪模块控制所述第一摄像模组对所述焦点追踪目标进行追焦。
步骤311:若所述距离处于所述第二焦距范围,则通过所述焦点追踪模块将所述摄像预览画面的采集摄像模组从所述第一摄像模组切换至所述第二摄像模组,以及通过所述焦点追踪模块控制所述第二摄像模组对所述焦点追踪目标进行追焦。
需要说明的是,本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程,在此不再叙述。
请参阅图4,图4是本申请实施例提供的一种电子设备的结构示意图,所述电子设备包括眼球追踪模块和焦点追踪模块,如图4所示,所述电子设备还包括存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令:
显示摄像预览画面,所述摄像预览画面包括至少一个待拍摄目标;
通过所述眼球追踪模块确定用户注视所述摄像预览画面的注视位置;
基于所述注视位置确定焦点追踪目标,所述至少一个待拍摄目标包括所述焦点追踪目标;
通过所述焦点追踪模块对所述焦点追踪目标进行追焦。
在本申请的一实现方式中,所述电子设备还包括摄像模块,所述摄像预览画面是所述摄像模块采集得到的,在通过所述焦点追踪模块对所述焦点追踪目标进行追焦方面,上述程序包括具体用于执行以下步骤的指令:
确定所述焦点追踪目标与所述摄像模块的相对位置;
基于所述相对位置确定所述摄像模块对焦需要的距离;
通过所述焦点追踪模块基于所述距离对所述焦点追踪目标进行追焦。
在本申请的一实现方式中,所述摄像模块包括第一摄像模组和第二摄像模组,所述第一摄像模组的对焦范围为第一焦距范围,所述第二摄像模组的对焦范围为第二焦距范围,所述摄像预览画面是所述第一摄像模组采集得到的;在通过所述焦点追踪模块基于所述距离对所述焦点追踪目标进行追焦方面,上述程序包括具体用于执行以下步骤的指令:
若所述距离处于所述第一焦距范围,则通过所述焦点追踪模块控制所述第一摄像模组对所述焦点追踪目标进行追焦;
若所述距离处于所述第二焦距范围,则通过所述焦点追踪模块将所述摄像预览画面的采集摄像模组从所述第一摄像模组切换至所述第二摄像模组,以及通过所述焦点追踪模块控制所述第二摄像模组对所述焦点追踪目标进行追焦。
在本申请的一实现方式中,所述电子设备还包括显示屏,在确定所述焦点追踪目标与所述摄像模块的相对位置方面,上述程序包括具体用于执行以下步骤的指令:
确定所述焦点追踪目标在所述显示屏中所占区域的第一面积,以及确定所述摄像预览画面在所述显示屏中所占区域的第二面积;
基于所述第一面积与所述第二面积的比值,确定所述焦点追踪目标与所述摄像模块的相对位置。
在本申请的一实现方式中,所述电子设备还包括眼球追踪传感器,在通过所述眼球追踪模块确定用户注视所述摄像预览画面的注视位置方面,上述程序包括具体用于执行以下步骤的指令:
通过所述眼球追踪传感器获取注视数据;
通过所述眼球追踪模块调用目标眼球追踪算法处理所述注视数据,得到目标数据;
基于所述目标数据确定用户注视所述摄像预览画面的注视位置。
在本申请的一实现方式中,所述眼球追踪传感器的工作频率基于所述摄像模块的工作频率确定。
在本申请的一实现方式中,在显示摄像预览画面之后,上述程序包括还用于执行以下步骤的指令:
调用目标检测算法处理所述摄像预览画面,确定所述至少一个待拍摄目标。
需要说明的是,本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程,在此不再叙述。
上述实施例主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据所述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。所述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
下面为本申请装置实施例,本申请装置实施例用于执行本申请方法实施例所实现的方法。请参阅图5,图5是本申请实施例提供的一种追焦装置的结构示意图,应用于包括眼球追踪模块和焦点追踪模块的电子设备,所述装置包括:
显示单元501,用于显示摄像预览画面,所述摄像预览画面包括至少一个待拍摄目标;
确定单元502,用于通过所述眼球追踪模块确定用户注视所述摄像预览画面的注视位置;基于所述注视位置确定焦点追踪目标,所述至少一个待拍摄目标包括所述焦点追踪目标;
追焦单元503,用于通过所述焦点追踪模块对所述焦点追踪目标进行追焦。
在本申请的一实现方式中,所述电子设备还包括摄像模块,所述摄像预览画面是所述摄像模块采集得到的,在通过所述焦点追踪模块对所述焦点追踪目标进行追焦方面,所述追焦单元503,具体用于:
确定所述焦点追踪目标与所述摄像模块的相对位置;
基于所述相对位置确定所述摄像模块对焦需要的距离;
通过所述焦点追踪模块基于所述距离对所述焦点追踪目标进行追焦。
在本申请的一实现方式中,所述摄像模块包括第一摄像模组和第二摄像模组,所述第一摄像模组的对焦范围为第一焦距范围,所述第二摄像模组的对焦范围为第二焦距范围,所述摄像预览画面是所述第一摄像模组采集得到的;在通过所述焦点追踪模块基于所述距离对所述焦点追踪目标进行追焦方面,所述追焦单元503,具体用于:
若所述距离处于所述第一焦距范围,则通过所述焦点追踪模块控制所述第一摄像模组对所述焦点追踪目标进行追焦;
若所述距离处于所述第二焦距范围,则通过所述焦点追踪模块将所述摄像预览画面的采集摄像模组从所述第一摄像模组切换至所述第二摄像模组,以及通过所述焦点追踪模块控制所述第二摄像模组对所述焦点追踪目标进行追焦。
在本申请的一实现方式中,所述电子设备还包括显示屏,在确定所述焦点追踪目标与所述摄像模块的相对位置方面,所述追焦单元503,具体用于:
确定所述焦点追踪目标在所述显示屏中所占区域的第一面积,以及确定所述摄像预览画面在所述显示屏中所占区域的第二面积;
基于所述第一面积与所述第二面积的比值,确定所述焦点追踪目标与所述摄像模块的相对位置。
在本申请的一实现方式中,所述电子设备还包括眼球追踪传感器,在通过所述眼球追踪模块确定用户注视所述摄像预览画面的注视位置方面,所述确定单元502,具体用于:
通过所述眼球追踪传感器获取注视数据;
通过所述眼球追踪模块调用目标眼球追踪算法处理所述注视数据,得到目标数据;
基于所述目标数据确定用户注视所述摄像预览画面的注视位置。
在本申请的一实现方式中,所述眼球追踪传感器的工作频率基于所述摄像模块的工作频率确定。
在本申请的一实现方式中,在显示摄像预览画面之后,所述确定单元502,还用于:
调用目标检测算法处理所述摄像预览画面,确定所述至少一个待拍摄目标。
其中,所述显示单元501、确定单元502和追焦单元503可以是处理器。
可以理解的是,由于方法实施例与装置实施例为相同技术构思的不同呈现形式,因此,本申请中方法实施例部分的内容应同步适配于装置实施例部分,此处不再赘述。
本申请实施例还提供了一种芯片,其中,该芯片包括处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如上述方法实施例中电子设备所描述的部分或全部步骤。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出 来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (20)

  1. 一种追焦方法,其特征在于,应用于包括眼球追踪模块和焦点追踪模块的电子设备,所述方法包括:
    显示摄像预览画面,所述摄像预览画面包括至少一个待拍摄目标;
    通过所述眼球追踪模块确定用户注视所述摄像预览画面的注视位置;
    基于所述注视位置确定焦点追踪目标,所述至少一个待拍摄目标包括所述焦点追踪目标;
    通过所述焦点追踪模块对所述焦点追踪目标进行追焦。
  2. 根据权利要求1所述的方法,其特征在于,所述电子设备还包括摄像模块,所述摄像预览画面是所述摄像模块采集得到的,所述通过所述焦点追踪模块对所述焦点追踪目标进行追焦,包括:
    确定所述焦点追踪目标与所述摄像模块的相对位置;
    基于所述相对位置确定所述摄像模块对焦需要的距离;
    通过所述焦点追踪模块基于所述距离对所述焦点追踪目标进行追焦。
  3. 根据权利要求2所述的方法,其特征在于,所述摄像模块包括第一摄像模组和第二摄像模组,所述第一摄像模组的对焦范围为第一焦距范围,所述第二摄像模组的对焦范围为第二焦距范围,所述摄像预览画面是所述第一摄像模组采集得到的;所述通过所述焦点追踪模块基于所述距离对所述焦点追踪目标进行追焦,包括:
    若所述距离处于所述第一焦距范围,则通过所述焦点追踪模块控制所述第一摄像模组对所述焦点追踪目标进行追焦;
    若所述距离处于所述第二焦距范围,则通过所述焦点追踪模块将所述摄像预览画面的采集摄像模组从所述第一摄像模组切换至所述第二摄像模组,以及通过所述焦点追踪模块控制所述第二摄像模组对所述焦点追踪目标进行追焦。
  4. 根据权利要求2或3所述的方法,其特征在于,所述电子设备还包括显示屏,所述确定所述焦点追踪目标与所述摄像模块的相对位置,包括:
    确定所述焦点追踪目标在所述显示屏中所占区域的第一面积,以及确定所述摄像预览画面在所述显示屏中所占区域的第二面积;
    基于所述第一面积与所述第二面积的比值,确定所述焦点追踪目标与所述摄像模块的相对位置。
  5. 根据权利要求4所述的方法,其特征在于,所述电子设备还包括眼球追踪传感器,所述通过所述眼球追踪模块确定用户注视所述摄像预览画面的注视位置,包括:
    通过所述眼球追踪传感器获取注视数据;
    通过所述眼球追踪模块调用目标眼球追踪算法处理所述注视数据,得到目标数据;
    基于所述目标数据确定用户注视所述摄像预览画面的注视位置。
  6. 根据权利要求5所述的方法,其特征在于,所述眼球追踪传感器的工作频率基于所述摄像模块的工作频率确定。
  7. 根据权利要求5所述的方法,其特征在于,所述电子设备包括眼球追踪应用,所述通过所述眼球追踪传感器获取注视数据,包括:
    通过所述眼球追踪应用向所述眼球追踪传感器发送注视数据获取请求;
    通过所述眼球追踪传感器接收所述注视数据获取请求,获取注视数据。
  8. 根据权利要求5-7任一项所述的方法,其特征在于,所述显示摄像预览画面之后,所述方法还包括:
    调用目标检测算法处理所述摄像预览画面,确定所述至少一个待拍摄目标。
  9. 根据权利要求1所述的方法,其特征在于,所述注视位置用注视点的坐标表示,所述基于所述注视位置确定焦点追踪目标,包括:
    确定所述至少一个待拍摄目标所在的至少一个区域;
    确定所述注视点的坐标在所述至少一个区域中所属的目标区域;
    将所述目标区域对应的待拍摄目标确定为焦点追踪目标。
  10. 一种追焦装置,其特征在于,应用于包括眼球追踪模块和焦点追踪模块的电子设备,所述装置包括:
    显示单元,用于显示摄像预览画面,所述摄像预览画面包括至少一个待拍摄目标;
    确定单元,用于通过所述眼球追踪模块确定用户注视所述摄像预览画面的注视位置;基于所述注视位置确定焦点追踪目标,所述至少一个待拍摄目标包括所述焦点追踪目标;
    追焦单元,用于通过所述焦点追踪模块对所述焦点追踪目标进行追焦。
  11. 根据权利要求7所述的装置,其特征在于,所述电子设备还包括摄像模块,所述摄像预览画面是所述摄像模块采集得到的,在通过所述焦点追踪模块对所述焦点追踪目标进行追焦方面,所述追焦单元,具体用于:
    确定所述焦点追踪目标与所述摄像模块的相对位置;
    基于所述相对位置确定所述摄像模块对焦需要的距离;
    通过所述焦点追踪模块基于所述距离对所述焦点追踪目标进行追焦。
  12. 根据权利要求7所述的装置,其特征在于,所述摄像模块包括第一摄像模组和第二摄像模组,所述第一摄像模组的对焦范围为第一焦距范围,所述第二摄像模组的对焦范围为第二焦距范围,所述摄像预览画面是所述第一摄像模组采集得到的;在通过所述焦点追踪模块基于所述距离对所述焦点追踪目标进行追焦方面,所述追焦单元,具体用于:
    若所述距离处于所述第一焦距范围,则通过所述焦点追踪模块控制所述第一摄像模组对所述焦点追踪目标进行追焦;
    若所述距离处于所述第二焦距范围,则通过所述焦点追踪模块将所述摄像预览画面的采集摄像模组从所述第一摄像模组切换至所述第二摄像模组,以及通过所述焦点追踪模块控制所述第二摄像模组对所述焦点追踪目标进行追焦。
  13. 根据权利要求7所述的装置,其特征在于,所述电子设备还包括显示屏,在确定所述焦点追踪目标与所述摄像模块的相对位置方面,所述追焦单元,具体用于:
    确定所述焦点追踪目标在所述显示屏中所占区域的第一面积,以及确定所述摄像预览画面在所述显示屏中所占区域的第二面积;
    基于所述第一面积与所述第二面积的比值,确定所述焦点追踪目标与所述摄像模块的相对位置。
  14. 根据权利要求7所述的装置,其特征在于,所述电子设备还包括眼球追踪传感器,在通过所述眼球追踪模块确定用户注视所述摄像预览画面的注视位置方面,所述确定单元,具体用于:
    通过所述眼球追踪传感器获取注视数据;
    通过所述眼球追踪模块调用目标眼球追踪算法处理所述注视数据,得到目标数据;
    基于所述目标数据确定用户注视所述摄像预览画面的注视位置。
  15. 根据权利要求7所述的装置,其特征在于,所述眼球追踪传感器的工作频率基于所述摄像模块的工作频率确定。
  16. 根据权利要求7所述的装置,其特征在于,所述电子设备包括眼球追踪应用,在所述通过所述眼球追踪传感器获取注视数据方面,所述确定单元具体用于:
    通过所述眼球追踪应用向所述眼球追踪传感器发送注视数据获取请求;
    通过所述眼球追踪传感器接收所述注视数据获取请求,获取注视数据。
  17. 根据权利要求7所述的装置,其特征在于,在显示摄像预览画面之后,所述确定单元502,还用于:
    调用目标检测算法处理所述摄像预览画面,确定所述至少一个待拍摄目标。
  18. 根据权利要求7所述的装置,其特征在于,所述注视位置用注视点的坐标表示,在所述基于所述注视位置确定焦点追踪目标方面,所述确定单元具体用于:
    确定所述至少一个待拍摄目标所在的至少一个区域;
    确定所述注视点的坐标在所述至少一个区域中所属的目标区域;
    将所述目标区域对应的待拍摄目标确定为焦点追踪目标。
  19. 一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-9任一项所述的方法中的步骤的指令。
  20. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现权利要求1-9任一项所述的方法。
PCT/CN2021/071266 2020-03-03 2021-01-12 追焦方法及相关设备 WO2021175014A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010139785.6A CN111225157B (zh) 2020-03-03 2020-03-03 追焦方法及相关设备
CN202010139785.6 2020-03-03

Publications (1)

Publication Number Publication Date
WO2021175014A1 true WO2021175014A1 (zh) 2021-09-10

Family

ID=70827248

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/071266 WO2021175014A1 (zh) 2020-03-03 2021-01-12 追焦方法及相关设备

Country Status (3)

Country Link
CN (1) CN111225157B (zh)
TW (1) TWI791198B (zh)
WO (1) WO2021175014A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230136191A1 (en) * 2021-10-29 2023-05-04 Sonic Star Global Limited Image capturing system and method for adjusting focus

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225157B (zh) * 2020-03-03 2022-01-14 Oppo广东移动通信有限公司 追焦方法及相关设备
CN114079729A (zh) * 2020-08-19 2022-02-22 Oppo广东移动通信有限公司 拍摄控制方法、装置、电子设备及存储介质
CN116528046A (zh) * 2020-11-09 2023-08-01 华为技术有限公司 目标用户追焦拍摄方法、电子设备及存储介质
CN112954209B (zh) * 2021-02-08 2023-02-17 维沃移动通信(杭州)有限公司 拍照方法、装置、电子设备及介质
CN113873166A (zh) * 2021-10-26 2021-12-31 维沃移动通信有限公司 视频拍摄方法、装置、电子设备和可读存储介质
CN114302054B (zh) * 2021-11-30 2023-06-20 歌尔科技有限公司 一种ar设备的拍照方法及其ar设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040165099A1 (en) * 2003-01-29 2004-08-26 Stavely Donald J. Digital camera autofocus using eye focus measurement
CN103246044A (zh) * 2012-02-09 2013-08-14 联想(北京)有限公司 一种自动对焦方法、系统及具有该系统的照相机和摄像机
CN103516985A (zh) * 2013-09-18 2014-01-15 上海鼎为软件技术有限公司 移动终端及其获取图像的方法
CN103795926A (zh) * 2014-02-11 2014-05-14 惠州Tcl移动通信有限公司 利用眼球跟踪技术控制拍照对焦的方法、系统及拍照设备
CN108881724A (zh) * 2018-07-17 2018-11-23 北京七鑫易维信息技术有限公司 一种图像获取方法、装置、设备及存储介质
CN109983755A (zh) * 2016-06-30 2019-07-05 北方公司 基于眼睛跟踪自动聚焦的图像捕获系统、设备和方法
CN110225252A (zh) * 2019-06-11 2019-09-10 Oppo广东移动通信有限公司 拍照控制方法及相关产品
CN110505389A (zh) * 2019-09-03 2019-11-26 RealMe重庆移动通信有限公司 摄像头控制方法、装置、存储介质及电子设备
CN111225157A (zh) * 2020-03-03 2020-06-02 Oppo广东移动通信有限公司 追焦方法及相关设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170336631A1 (en) * 2016-05-18 2017-11-23 Rockwell Collins, Inc. Dynamic Vergence for Binocular Display Device
CN106713747A (zh) * 2016-11-29 2017-05-24 维沃移动通信有限公司 一种对焦方法及移动终端
CN108055458A (zh) * 2017-12-18 2018-05-18 信利光电股份有限公司 一种焦点追踪方法、装置、设备及计算机可读存储介质
CN109522789A (zh) * 2018-09-30 2019-03-26 北京七鑫易维信息技术有限公司 应用于终端设备的眼球追踪方法、装置以及系统
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN110691193B (zh) * 2019-09-03 2021-06-29 RealMe重庆移动通信有限公司 摄像头切换方法、装置、存储介质及电子设备
CN110658918B (zh) * 2019-09-25 2023-12-12 京东方科技集团股份有限公司 用于视频眼镜的眼球追踪相机的定位方法、设备及介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040165099A1 (en) * 2003-01-29 2004-08-26 Stavely Donald J. Digital camera autofocus using eye focus measurement
CN103246044A (zh) * 2012-02-09 2013-08-14 联想(北京)有限公司 一种自动对焦方法、系统及具有该系统的照相机和摄像机
CN103516985A (zh) * 2013-09-18 2014-01-15 上海鼎为软件技术有限公司 移动终端及其获取图像的方法
CN103795926A (zh) * 2014-02-11 2014-05-14 惠州Tcl移动通信有限公司 利用眼球跟踪技术控制拍照对焦的方法、系统及拍照设备
CN109983755A (zh) * 2016-06-30 2019-07-05 北方公司 基于眼睛跟踪自动聚焦的图像捕获系统、设备和方法
CN108881724A (zh) * 2018-07-17 2018-11-23 北京七鑫易维信息技术有限公司 一种图像获取方法、装置、设备及存储介质
CN110225252A (zh) * 2019-06-11 2019-09-10 Oppo广东移动通信有限公司 拍照控制方法及相关产品
CN110505389A (zh) * 2019-09-03 2019-11-26 RealMe重庆移动通信有限公司 摄像头控制方法、装置、存储介质及电子设备
CN111225157A (zh) * 2020-03-03 2020-06-02 Oppo广东移动通信有限公司 追焦方法及相关设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230136191A1 (en) * 2021-10-29 2023-05-04 Sonic Star Global Limited Image capturing system and method for adjusting focus

Also Published As

Publication number Publication date
TW202139684A (zh) 2021-10-16
CN111225157B (zh) 2022-01-14
CN111225157A (zh) 2020-06-02
TWI791198B (zh) 2023-02-01

Similar Documents

Publication Publication Date Title
WO2021175014A1 (zh) 追焦方法及相关设备
US11551482B2 (en) Facial recognition-based authentication
US10614204B2 (en) Facial recognition authentication system including path parameters
US10979425B2 (en) Remote document execution and network transfer using augmented reality display devices
WO2019205742A1 (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
JP2018023158A (ja) プレビュー画像表示方法及び装置、並びに端末
US20130044920A1 (en) Method of host-directed illumination and system for conducting host-directed illumination
US10303863B2 (en) Motion-based credentials using magnified motion
TW201339987A (zh) 電子設備及其顯示螢幕防窺視方法
TW201327266A (zh) 電子設備及其根據手勢控制拍照的方法
JP2020534608A5 (zh)
TWI739096B (zh) 資料處理方法和電子設備
CN108200340A (zh) 能够检测眼睛视线的拍照装置及拍照方法
TWI731503B (zh) 活體臉部辨識系統與方法
JP2016081250A (ja) 情報処理装置および情報処理方法
JP2020505705A (ja) 特徴画像を習得するための方法およびデバイスならびにユーザー認証方法
TWI637288B (zh) 用於眼球視線校正的影像處理方法及其系統
WO2014101722A1 (zh) 一种摄像装置和摄像方法
CN108156387A (zh) 通过检测眼睛视线自动结束摄像的装置及方法
JP7077106B2 (ja) 撮影画像データ処理装置および撮影画像データ処理方法
TW201620291A (zh) 體感可視通訊系統及方法
WO2015131483A1 (zh) 一种图像拍摄的处理方法和装置
US20230073410A1 (en) Facial recognition and/or authentication system with monitored and/or controlled camera cycling
US20240129302A1 (en) System and method for using a validated card in a virtual environment
CN117765621A (zh) 活体检测方法、装置及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21764805

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21764805

Country of ref document: EP

Kind code of ref document: A1