WO2022116604A1 - 拍摄图像处理方法及电子设备 - Google Patents
拍摄图像处理方法及电子设备 Download PDFInfo
- Publication number
- WO2022116604A1 WO2022116604A1 PCT/CN2021/114061 CN2021114061W WO2022116604A1 WO 2022116604 A1 WO2022116604 A1 WO 2022116604A1 CN 2021114061 W CN2021114061 W CN 2021114061W WO 2022116604 A1 WO2022116604 A1 WO 2022116604A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- special effect
- image
- captured image
- feature data
- target special
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 230000000694 effects Effects 0.000 claims abstract description 186
- 230000004044 response Effects 0.000 claims abstract description 32
- 239000002131 composite material Substances 0.000 claims abstract description 29
- 230000015654 memory Effects 0.000 claims description 16
- 239000003550 marker Substances 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 235000012469 Cleome gynandra Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Definitions
- the present disclosure relates to the field of image processing, and in particular, to a captured image processing method and an electronic device.
- a captured image processing method including:
- the first composite image is displayed in the shooting preview interface.
- a captured image processing apparatus including:
- an acquisition unit configured to acquire a shot image in a shot preview interface, where the shot preview interface is displayed with a first control
- a determining unit configured to determine a first target special effect matching the captured image in response to a first instruction corresponding to the first control
- the processing unit is configured to combine the first target special effect with the shot image to obtain a first combined image; and display the first combined image in the shooting preview interface.
- an electronic device comprising: a processor; a memory for storing instructions executable by the processor; wherein the processor is configured to execute the instructions to implement the following steps:
- the first composite image is displayed in the shooting preview interface.
- a non-volatile storage medium is provided.
- the instructions in the non-volatile storage medium are executed by a processor of an electronic device, the electronic device can perform the following steps :
- the first composite image is displayed in the shooting preview interface.
- a computer program product which, when executed on an electronic device, is adapted to execute a program initialized with the following steps:
- the first composite image is displayed in the shooting preview interface.
- the present disclosure can automatically and accurately match special effects for captured images, realizes intelligent positioning to special effects that conform to the current shooting scene and shooting content, and improves matching efficiency and matching effect.
- FIG. 1 is a schematic diagram of an implementation environment involved in a captured image processing method provided according to an exemplary embodiment
- FIG. 2 is a flowchart of a method for processing a captured image according to an exemplary embodiment
- FIG. 3 is a schematic diagram of a shooting preview interface according to an exemplary embodiment
- FIG. 4 is a schematic diagram of another shooting preview interface shown according to an exemplary embodiment
- FIG. 5 is a flowchart of another captured image processing method according to an exemplary embodiment
- FIG. 6 is a flowchart of another captured image processing method according to an exemplary embodiment
- FIG. 7 is a block diagram of a captured image processing apparatus according to an exemplary embodiment
- Fig. 8 is a block diagram of an electronic device according to an exemplary embodiment.
- Magic map refers to a special effect map used for images, for example, magic expression, among which, magic expression belongs to special effects, which is a special effect that does not generally appear in the real world; by adding magic maps to the image, the interest of the image can be increased sex, making the image more vivid.
- FIG. 1 is a schematic diagram of an implementation environment involved in a captured image processing method provided according to an exemplary embodiment.
- the implementation environment includes: a terminal 101 and a server 102 .
- the terminal 101 and the server 102 are connected through a wireless network.
- a target application program is installed in the terminal 101, and the terminal 101 can perform data connection with the server 102 through the target application program, so as to realize functions such as data transmission and message interaction.
- the server 102 provides services for the target application.
- the target application is an application with a shooting function, such as a short video application, a social application with a shooting function, etc., which is not specifically limited in this embodiment of the present disclosure.
- the terminal 101 is a mobile phone, a tablet computer, a wearable device or other electronic device.
- the server 102 is a server, or a server cluster composed of several servers, or a cloud computing service center, which is not specifically limited in this embodiment of the present disclosure.
- FIG. 2 is a flowchart of a method for processing a captured image according to an exemplary embodiment. As shown in FIG. 2 , the above-mentioned method for processing a captured image is used in a mobile terminal as an example, including the following steps:
- the mobile terminal acquires the photographed image in the photographing preview interface, and the above-mentioned photographing preview interface displays the first control;
- the above-mentioned shooting preview interface is used to provide a pre-browse function of shooting results, and the shooting images are shooting results obtained after the mobile terminal starts shooting.
- the mobile terminal determines a first target special effect matching the above-mentioned captured image
- the mobile terminal synthesizes the above-mentioned first target special effect and the above-mentioned photographed image to obtain a first synthesized image; and displays the first synthesized image in the above-mentioned photographing preview interface.
- the present disclosure can automatically and accurately match special effects for captured images, realizes intelligent positioning to special effects that conform to the current shooting scene and shooting content, and improves matching efficiency and matching effect.
- the capture image processing method before acquiring the captured image in the capture preview interface, the capture image processing method further includes: displaying the first control in the capture preview interface.
- the shooting instruction generated in response to the video shooting button being triggered as shown in FIG. 3 .
- the shown shooting preview interface is displayed, and the "playing magic watch” control (ie, the first control) pops up in the shooting preview interface.
- the first trigger operation acts on the first control to generate the above-mentioned first instruction.
- the first trigger operation is a click operation. After the user clicks on the first control, the mobile terminal responds to the first control corresponding to the first control.
- the first instruction is to determine a first target special effect matching the above-mentioned captured image, combine the above-mentioned first target special effect with the above-mentioned captured image to obtain a first composite image, and display the first composite image in the above-mentioned capture preview interface.
- the first target effect is a target magic map, eg, a magic emoji.
- the matching target magic sticker is determined according to the cat's face to be a cute cat whisker expression, etc. Cat image with whisker emoji.
- the matching target magic sticker is a question mark expression, etc.
- the image of the dog wearing the question mark expression is displayed in the photographing preview interface.
- the magic expression matching the video image is determined according to the image feature data, and then the video image wearing the magic expression is displayed in the shooting preview interface, which improves the feature significance and interest of the video image. sex.
- “determining the first target special effect matching the above-mentioned captured image” includes:
- the mobile terminal determines the image feature data corresponding to the above-mentioned captured image
- the image feature data is obtained by inputting the above-mentioned captured image into a recognition tool, and using the recognition tool to recognize the above-mentioned captured image.
- the recognition tool is a magic map recognition tool.
- a plurality of image feature data returned based on the recognition tool constitutes an image feature set.
- the image feature data includes at least one of the following: facial expression feature data, gesture feature data, and motion feature data.
- determining the image feature set corresponding to the above-mentioned captured image includes: identifying the above-mentioned captured image to obtain the above-mentioned image characteristic data.
- the recognition tool is used to identify the cat face recognition, dog face recognition, face recognition, gender recognition, human body recognition, gesture recognition, nail recognition, hair recognition, clothing recognition, sky segmentation, ground segmentation and other means. Obtain the above image feature data.
- the mobile terminal matches the above-mentioned image feature data with a plurality of initial special effect sets to obtain a target special effect set, wherein the above-mentioned target special effect set includes at least one special effect;
- the initial special effect set is an initial magic map set
- the target special effect set is a target magic map set.
- the above-mentioned initial special effects sets include but are not limited to: “Cat Strong” magic expression set corresponding to cat face recognition, “Talking Cat” magic expression set, gesture recognition corresponding “30 carat” magic expression set, fingertip recognition corresponding "Fingertip basketball” magic expression collection, “Turkish sky”, “Park Kite Festival” magic expression collection corresponding to the sky division, “Rain Pool” magic expression collection corresponding to the ground division, and so on.
- each effect in the plurality of initial effect sets carries feature tag data
- the first target effect carries feature tag data corresponding to the image feature data.
- one feature marking data is used to uniquely mark one special effect.
- the signature data is in textual form.
- matching the above-mentioned image feature data with a plurality of initial special effect sets to obtain a target special effect set includes: matching the above-mentioned image characteristic data with the characteristic mark data of each special effect in the above-mentioned multiple initial special effect sets; In response to the successful matching between the image feature data and the feature marker data, a special effect corresponding to the matched feature marker data is determined, and an initial special effect set where the determined special effect is located is used as the target special effect set.
- the mobile terminal randomly selects one special effect from the above-mentioned target special effect set as the above-mentioned first target special effect.
- the same type of image feature data may match multiple available special effects, and in response to the target special effect set including multiple special effects, randomly select one special effect from the target special effect set as the first target special effect.
- the above-mentioned captured image processing method before matching the above-mentioned image feature data with a plurality of initial special effect sets, the above-mentioned captured image processing method further includes:
- the mobile terminal acquires all the special effects in the network by detecting the downloaded special effects and downloading the missing special effects, so as to obtain the above-mentioned initial special effect set.
- the aforementioned special effects are magic maps.
- a first control is displayed in the above-mentioned shooting preview interface; in response to detecting that the user triggers the first control, the obtained shooting image is input into the above-mentioned identification tool, and the above-mentioned identification tool is used to identify the corresponding shooting image
- the image feature data is obtained, and an image feature set is obtained based on the image feature data; after that, a target special effect set is obtained by matching the above-mentioned image feature set with a plurality of initial special effect sets.
- the above-mentioned captured image processing is performed.
- Methods also include:
- the above-mentioned second target special effect is another special effect different from the above-mentioned first special effect in the target special effect set.
- the above-mentioned second control is a “change for one” control in the shooting preview interface.
- the above-mentioned second command is generated, and the first target special effect is switched to The second target special effect is combined with the above-mentioned captured image to obtain a second composite image, and the second composite image is displayed in the above-mentioned capture preview interface.
- the mobile terminal in response to not detecting the above-mentioned second instruction within a predetermined period of time, the mobile terminal directly generates the first composite image; or, in response to not detecting the above-mentioned second instruction within a predetermined period of time, the mobile terminal defaults to If the user directly selects the first target special effect and continues to perform other operations, the mobile terminal directly generates the first composite image.
- the second control in response to detecting a target operation, is switched to the first control in the above-mentioned shooting preview interface, wherein the target operation is for the user to open a special effect setting panel (for example, a magic expression setting panel) , and click Cancel to capture the first composite image currently displayed in the preview interface.
- a special effect setting panel for example, a magic expression setting panel
- FIG. 7 is a block diagram of a captured image processing apparatus according to an exemplary embodiment. As shown in FIG. 7 , the apparatus includes: an acquisition unit 70, a determination unit 72 and a processing unit 74, wherein:
- the acquiring unit 70 is configured to acquire the photographed image in the photographing preview interface, where the photographing preview interface is displayed with a first control;
- a determining unit 72 configured to determine a first target special effect matching the captured image in response to a first instruction corresponding to the first control
- the processing unit 74 is configured to combine the first target special effect with the captured image to obtain a first composite image; and display the first composite image in the capture preview interface.
- the present disclosure can automatically and accurately match special effects for captured images, realizes intelligent positioning to special effects that conform to the current shooting scene and shooting content, and improves matching efficiency and matching effect.
- the above units can be implemented by software or hardware, for example, for the latter, it can be implemented in the following ways: the above units can be located in the same processor; or, the above units can be combined in any way in different processors.
- the above-mentioned obtaining unit 60, the determining unit 62 and the processing unit 64 correspond to the above-mentioned steps S21 to S23, and the examples and application scenarios implemented by the above-mentioned units and the corresponding steps are the same, but are not limited to the implementation of the above-mentioned methods. example disclosed. It should be noted that, the above-mentioned unit may be run in an electronic device as a part of the apparatus.
- the above determining unit includes:
- a feature determination module configured to determine image feature data corresponding to the captured image
- a feature matching module configured to match the image feature data with a plurality of initial special effect sets to obtain a target special effect set, wherein the target special effect set includes at least one special effect;
- the special effect selection module is configured to randomly select one special effect from the target special effect set as the first target special effect.
- the above determination unit further includes: a special effect acquisition module, configured to acquire special effects in the network, and generate the initial special effect set based on the acquired special effects.
- a special effect acquisition module configured to acquire special effects in the network, and generate the initial special effect set based on the acquired special effects.
- the aforementioned feature determination module is further configured to:
- the image feature data includes at least one of the following: expression feature data, gesture feature data, and action feature data.
- the above-mentioned feature matching module is further configured to:
- a special effect corresponding to the matched feature marker data is determined, and an initial special effect set where the determined special effect is located is used as the target special effect set.
- the above-mentioned apparatus further includes a switching unit, and the above-mentioned switching unit is configured to: switch the first control to a second control in the shooting preview interface;
- the determining unit is further configured to: in response to a second instruction corresponding to the second control, switch the first target special effect to a second target special effect;
- the processing unit is further configured to:
- an embodiment of an electronic device including: a processor; a memory for storing instructions executable by the processor; wherein the processor is configured to execute the instructions to implement any of the above image processing method.
- FIG. 8 is a block diagram of an electronic device according to an exemplary embodiment.
- the electronic device may include: at least one (only one is shown in the figure) processor 81 , memory 82 and peripheral interface 83 .
- the memory 82 is used to store software programs and modules, and the processor 81 executes various functional applications and data processing by running the software programs and modules stored in the memory 82, ie, realizes the above-mentioned captured image processing method.
- memory 82 includes high-speed random access memory, and may also include non-volatile memory, such as one or more magnetic storage devices, flash memory, or other non-volatile solid-state memory.
- the memory 82 may further include memory located remotely relative to the processor 81, and these remote memories may be connected to the computer terminal through a network. Examples of such networks include, but are not limited to, the Internet, an intranet, a local area network, a mobile communication network, and combinations thereof.
- the processor 81 invokes the software programs and modules stored in the memory 82 through the transmission device, so as to execute any one of the above-mentioned captured image processing methods.
- an embodiment of a non-volatile storage medium is also provided.
- the instructions in the above-mentioned non-volatile storage medium are executed by the processor of the electronic device, the electronic device can execute any one of the above-mentioned Shooting image processing method.
- an embodiment of a computer program product is also provided, which, when executed on an electronic device, is suitable for executing a program initialized with any one of the above-mentioned captured image processing methods.
- the above-mentioned integrated units are implemented in the form of software functional units and sold or used as independent products, they may be stored in a computer-readable non-volatile storage medium.
- the storage medium includes several instructions for causing a computer device (which may be a personal computer, a server, or a network device, etc.) to execute all or part of the steps of the above-mentioned methods of various embodiments of the present disclosure.
- the aforementioned non-volatile storage media include: U disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), mobile hard disk, magnetic disk or optical disk and other storage devices medium of program code.
Abstract
本公开关于一种拍摄图像处理方法及电子设备，其中，上述拍摄图像处理方法，包括：获取拍摄预览界面中的拍摄图像，所述拍摄预览界面显示有第一控件；响应于所述第一控件对应的第一指令，确定与所述拍摄图像匹配的第一目标特效；将所述第一目标特效与所述拍摄图像进行合成，得到第一合成图像；在所述拍摄预览界面中显示所述第一合成图像。
Description
本公开基于申请日为2020年12月04日、申请号为202011403714.9的中国专利申请，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本公开作为参考。
本公开涉及图像处理领域，尤其涉及拍摄图像处理方法及电子设备。
相关技术中，用户采用短视频应用程序拍摄图像之后，在采用该短视频应用程序提供的特效功能为拍摄图像添加特效时，需要用户手动在特效面板进行特效挑选，例如，通过滑动操作查看特效列表项，在众多特效中选择需要的特效。
发明内容
根据本公开实施例的一方面，提供一种拍摄图像处理方法，包括：
获取拍摄预览界面中的拍摄图像，所述拍摄预览界面显示有第一控件；
响应于所述第一控件对应的第一指令，确定与所述拍摄图像匹配的第一目标特效；
将所述第一目标特效与所述拍摄图像进行合成，得到第一合成图像；
在所述拍摄预览界面中显示所述第一合成图像。
根据本公开实施例的另一方面，提供一种拍摄图像处理装置，包括：
获取单元，被配置为获取拍摄预览界面中的拍摄图像，所述拍摄预览界面显示有第一控件；
确定单元，被配置为响应于所述第一控件对应的第一指令，确定与所述拍摄图像匹配的第一目标特效；
处理单元，被配置为将所述第一目标特效与所述拍摄图像进行合成，得到第一合成图像；在所述拍摄预览界面中显示所述第一合成图像。
根据本公开实施例的另一方面，提供一种电子设备，包括：处理器；用于存储上述处理器可执行指令的存储器；其中，上述处理器被配置为执行上述指令，以实现如下步骤：
获取拍摄预览界面中的拍摄图像，所述拍摄预览界面显示有第一控件；
响应于所述第一控件对应的第一指令，确定与所述拍摄图像匹配的第一目标特效；
将所述第一目标特效与所述拍摄图像进行合成，得到第一合成图像；
在所述拍摄预览界面中显示所述第一合成图像。
根据本公开实施例的另一方面，提供一种非易失性存储介质，在上述非易失性存储介质中的指令由电子设备的处理器执行的情况下，所述电子设备能够执行如下步骤：
获取拍摄预览界面中的拍摄图像，所述拍摄预览界面显示有第一控件；
响应于所述第一控件对应的第一指令，确定与所述拍摄图像匹配的第一目标特效；
将所述第一目标特效与所述拍摄图像进行合成，得到第一合成图像；
在所述拍摄预览界面中显示所述第一合成图像。
根据本公开实施例的另一方面，提供一种计算机程序产品，在电子设备上执行的情况下， 适于执行初始化有包括如下步骤的程序：
获取拍摄预览界面中的拍摄图像，所述拍摄预览界面显示有第一控件；
响应于所述第一控件对应的第一指令，确定与所述拍摄图像匹配的第一目标特效；
将所述第一目标特效与所述拍摄图像进行合成，得到第一合成图像；
在所述拍摄预览界面中显示所述第一合成图像。
本公开能够自动且精确地为拍摄图像匹配特效，实现了智能定位到符合当前拍摄场景和拍摄内容的特效，提高了匹配效率以及提升了匹配效果。
图1为根据一示例性实施例提供的一种拍摄图像处理方法涉及的实施环境示意图；
图2是根据一示例性实施例示出的一种拍摄图像处理方法的流程图；
图3是根据一示例性实施例示出的一种拍摄预览界面的示意图；
图4是根据一示例性实施例示出的另一种拍摄预览界面的示意图；
图5是根据一示例性实施例示出的另一种拍摄图像处理方法的流程图；
图6是根据一示例性实施例示出的另一种拍摄图像处理方法的流程图；
图7是根据一示例性实施例示出的一种拍摄图像处理装置的框图；
图8是根据一示例性实施例示出的一种电子设备的框图。
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
首先，为方便理解本公开实施例，下面将对本公开中所涉及的部分术语或名词进行解释说明：
魔法贴图：是指一种用于图像的特效贴图，例如，魔法表情，其中，魔法表情属于特效，是现实世界中一般不会出现的特殊效果；通过在图像上添加魔法贴图可以增加图像的趣味性，使得图像更加生动形象。
图1为根据一示例性实施例提供的一种拍摄图像处理方法涉及的实施环境示意图。
参见图1，该实施环境包括：终端101和服务器102。其中，终端101和服务器102之间通过无线网络连接。终端101中安装有目标应用程序，终端101能够通过该目标应用程序与服务器102进行数据连接，以实现例如数据传输、消息交互等功能。其中，服务器102为该目标应用程序提供服务。
在一些实施例中，该目标应用程序为具有拍摄功能的应用程序，比如短视频应用程序、具有拍摄功能的社交应用程序等，本公开实施例对此不作具体限定。
在一些实施例中，该终端101为手机、平板电脑、可穿戴设备或其他电子设备。服务器102是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心，本公开实施例对此不作具体限定。
图2是根据一示例性实施例示出的一种拍摄图像处理方法的流程图，如图2所示，以上述拍摄图像处理方法用于移动终端中为例，包括以下步骤：
在S21中，移动终端获取拍摄预览界面中的拍摄图像，上述拍摄预览界面显示有第一控件；
其中，上述拍摄预览界面用于提供拍摄结果的预先浏览功能，而拍摄图像则是移动终端启动拍摄后得到的拍摄结果。
在S22中，响应于上述第一控件对应的第一指令，移动终端确定与上述拍摄图像匹配的第一目标特效；
在S23中，移动终端将上述第一目标特效与上述拍摄图像进行合成，得到第一合成图像；在上述拍摄预览界面中显示第一合成图像。
本公开能够自动且精确地为拍摄图像匹配特效，实现了智能定位到符合当前拍摄场景和拍摄内容的特效，提高了匹配效率以及提升了匹配效果。
在一些实施例中，上述获取拍摄预览界面中的拍摄图像之前，上述拍摄图像处理方法还包括：在上述拍摄预览界面中显示上述第一控件。
在一些实施例中，以视频拍摄为例，在检测到用户的手指点击视频拍摄界面中的视频拍摄按钮的情况下，响应于该视频拍摄按钮被触发而产生的拍摄指令，展示如图3所示的拍摄预览界面并在该拍摄预览界面中弹出“玩魔表”控件(即第一控件)。
在一些实施例中，第一触发操作作用于第一控件，产生上述第一指令，例如，该第一触发操作为点击操作，在用户点击第一控件后，移动终端响应于第一控件对应的第一指令，确定与上述拍摄图像匹配的第一目标特效，将上述第一目标特效与上述拍摄图像进行合成，得到第一合成图像，并在上述拍摄预览界面中显示第一合成图像。
在一些实施例中，第一目标特效为目标魔法贴图，例如，魔法表情。
例如，如图4所示，响应于获取到的拍摄图像为一只可爱的猫咪，根据猫脸确定与其匹配的目标魔法贴图为可爱的猫须表情等，并在拍摄预览界面中显示佩戴有该猫须表情的猫咪图像。
例如，响应于获取到的拍摄图像为一只蠢萌的小狗，根据狗脸确定与其匹配的目标魔法贴图为问号表情等，并在拍摄预览界面中显示佩戴有该问号表情的小狗图像。
以上述拍摄图像为视频图像为例，在用户拍摄视频图像之后，点击“玩魔表”控件即可获取与该视频图像匹配的魔法表情，在一些实施例中，通过识别当前的视频图像，确定该视 频图像的图像特征数据，根据该图像特征数据确定与视频图像匹配的魔法表情，再将穿戴有该魔法表情的视频图像在拍摄预览界面中进行展示，提升了视频图像的特征显著性和趣味性。
在一些实施例中，参见图5，上述S22中“确定与上述拍摄图像匹配的第一目标特效”，包括：
在S22-1中，移动终端确定与上述拍摄图像对应的图像特征数据；
在一些实施例中，通过将上述拍摄图像输入识别工具，采用该识别工具识别上述拍摄图像，得到图像特征数据。例如，该识别工具为魔法贴图识别工具。
在一些实施例中，基于该识别工具返回的多个图像特征数据构成了图像特征集合。
在一些实施例中，上述图像特征数据包含以下至少之一：表情特征数据、手势特征数据、动作特征数据。
即，确定与上述拍摄图像对应的图像特征集合，包括：识别上述拍摄图像，得到上述图像特征数据。
在一些实施例中，采用该识别工具通过猫脸识别、狗脸识别、人脸识别、性别识别、人体识别、手势识别、指甲识别、头发识别、衣服识别、天空分割、地面分割等手段，识别得到上述图像特征数据。
在S22-2中，移动终端将上述图像特征数据与多个初始特效集合进行匹配，得到目标特效集合，其中，上述目标特效集合包括至少一个特效；
在一些实施例中，上述初始特效集合为初始魔法贴图集合，上述目标特效集合为目标魔法贴图集合。其中，上述初始特效集合包括但不限于：猫脸识别对应的“猫坚强”魔法表情集合、“话唠猫”魔法表情集合，手势识别对应的“30克拉”魔法表情集合，指尖识别对应的“指尖篮球”魔法表情集合，天空分割对应的“土耳其的天空”、“公园风筝节”魔法表情集合，地面分割对应的“雨中水池”魔法表情集合，等等。
在一些实施例中，上述多个初始特效集合中的每个特效均携带有特征标记数据，上述第一目标特效中携带有与上述图像特征数据对应的特征标记数据。其中，一个特征标记数据用于唯一标记一个特效。在一些实施例中，该特征标记数据为文本形式。
在一些实施例中，将上述图像特征数据与多个初始特效集合进行匹配，得到目标特效集合，包括：将上述图像特征数据与上述多个初始特效集合中每个特效的特征标记数据进行匹配；响应于上述图像特征数据与上述特征标记数据匹配成功，确定匹配到的特征标记数据对应的特效，将确定的特效所在的初始特效集合作为上述目标特效集合。
在S22-3中，移动终端从上述目标特效集合中随机选取一个特效作为上述第一目标特效。
在一些实施例中，同一类型的图像特征数据可能会匹配出多个可用的特效，响应于该目标特效集合包括多个特效，从上述目标特效集合中随机选取一个特效作为上述第一目标特效。
在一些实施例中，如图5所示，在将上述图像特征数据与多个初始特效集合进行匹配之前，上述拍摄图像处理方法还包括：
在S51中，获取网络中的特效，并基于获取到的特效生成上述初始特效集合。
在一些实施例中，在启动拍摄之后，移动终端通过检测已下载的特效并下载缺失的特效的方式，获取网络中全部的特效，得到上述初始特效集合。
在一些实施例中，上述特效为魔法贴图。
在得到上述初始特效集合之后，在上述拍摄预览界面中显示第一控件；响应于检测用户触发该第一控件，将获取到的拍摄图像输入至上述识别工具，采用上述识别工具识别与拍摄图像对应的图像特征数据，基于该图像特征数据得到图像特征集合；之后，通过将上述图像特征集合与多个初始特效集合进行匹配，得到目标特效集合。
在一些实施例中，如图6所示，在将上述第一目标特效与上述拍摄图像进行合成，得到 第一合成图像，并在上述拍摄预览界面中显示第一合成图像之后，上述拍摄图像处理方法还包括：
在S61中，在上述拍摄预览界面中将上述第一控件切换为第二控件；
在S62中，响应上述第二控件上对应的第二指令，切换上述第一目标特效为第二目标特效；
在S63中，将上述第二目标特效与上述拍摄图像进行合成，得到第二合成图像，在上述拍摄预览界面中显示第二合成图像。
在一些实施例中，上述第二目标特效为目标特效集合中与上述第一特效不同的其他特效。如图4所示，上述第二控件为拍摄预览界面中的“换一换”控件，响应作用于上述第二控件上的第二触发操作，产生上述第二指令，将第一目标特效切换为第二目标特效，并将上述第二目标特效与上述拍摄图像进行合成，得到第二合成图像，并在上述拍摄预览界面中显示第二合成图像。
在一些实施例中，响应于在预定时间段内未检测到上述第二指令，移动终端直接生成第一合成图像；或者，响应于在预定时间段内未检测到上述第二指令，移动终端默认用户直接选用该第一目标特效并继续执行其他操作，则移动终端直接生成第一合成图像。
在另一些实施例中，响应于检测到目标操作，在上述拍摄预览界面中再将第二控件切换为第一控件，其中，该目标操作为用户打开特效设置面板(例如，魔法表情设置面板)，并点击取消拍摄预览界面中当前显示的第一合成图像。
图7是根据一示例性实施例示出的一种拍摄图像处理装置的框图，如图7所示，该装置包括：获取单元70，确定单元72和处理单元74，其中：
获取单元70，被配置为获取拍摄预览界面中的拍摄图像，所述拍摄预览界面显示有第一控件；
确定单元72，被配置为响应于所述第一控件对应的第一指令，确定与所述拍摄图像匹配的第一目标特效；
处理单元74，被配置为将所述第一目标特效与所述拍摄图像进行合成，得到第一合成图像；在所述拍摄预览界面中显示所述第一合成图像。
本公开能够自动且精确地为拍摄图像匹配特效，实现了智能定位到符合当前拍摄场景和拍摄内容的特效，提高了匹配效率以及提升了匹配效果。
需要说明的是，上述各个单元是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个单元可以位于同一处理器中；或者，上述各个单元以任意组合的方式位于不同的处理器中。
此处需要说明的是，上述获取单元60，确定单元62和处理单元64对应于上述的步骤S21至步骤S23，上述单元与对应的步骤所实现的实例和应用场景相同，但不限于上述方法实施例所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在电子设备中。
在一些实施例中，上述确定单元，包括：
特征确定模块，被配置为确定与所述拍摄图像对应的图像特征数据；
特征匹配模块，被配置为将所述图像特征数据与多个初始特效集合进行匹配，得到目标特效集合，其中，所述目标特效集合包括至少一个特效；
特效选取模块，被配置为从所述目标特效集合中随机选取一个特效作为所述第一目标特效。
在一些实施例中，上述确定单元，还包括：特效获取模块，被配置为获取网络中的特效，并基于获取到的特效生成所述初始特效集合。
在一些实施例中，上述特征确定模块进一步被配置为：
识别所述拍摄图像，得到所述图像特征数据，其中，所述图像特征数据包含以下至少之一：表情特征数据、手势特征数据、动作特征数据。
在一些实施例中，上述特征匹配模块进一步被配置为：
将所述图像特征数据与所述多个初始特效集合中每个特效的特征标记数据进行匹配；
响应于所述图像特征数据与所述特征标记数据匹配成功，确定匹配到的特征标记数据对应的特效，将确定的特效所在的初始特效集合作为所述目标特效集合。
在一些实施例中，上述装置还包括切换单元，上述切换单元被配置为：在所述拍摄预览界面中将所述第一控件切换为第二控件；
所述确定单元进一步被配置为：响应于所述第二控件对应的第二指令，将所述第一目标特效切换为第二目标特效；
所述处理单元进一步被配置为：
将所述第二目标特效与所述拍摄图像进行合成，得到第二合成图像；在所述拍摄预览界面中显示所述第二合成图像。
关于上述实施例中的装置，其中各个单元或模块执行操作的具体方式已经在有关方法实施例中进行了详细描述，此处将不做详细阐述说明。
根据本公开实施例，还提供一种电子设备实施例，包括：处理器；用于存储上述处理器可执行指令的存储器；其中，上述处理器被配置为执行上述指令，以实现任一项上述的拍摄图像处理方法。
在一些实施例中，图8是根据一示例性实施例示出的一种电子设备的框图，如图8所示，该电子设备可以包括：至少一个(图中仅示出一个)处理器81、存储器82、以及外设接口83。
其中，存储器82用于存储软件程序以及模块，处理器81通过运行存储在存储器82内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的拍摄图像处理方法。在一些实施例中，存储器82包括高速随机存储器，还可以包括非易失性存储器，如一个或者 多个磁性存储装置、闪存、或者其他非易失性固态存储器。在另一些实施例中，存储器82可进一步包括相对于处理器81远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一些实施例中，处理器81通过传输装置调用存储器82存储的软件程序以及模块，以执行任一项上述的拍摄图像处理方法。
根据本公开实施例，还提供一种非易失性存储介质实施例，在上述非易失性存储介质中的指令由电子设备的处理器执行的情况下，电子设备能够执行任一项上述的拍摄图像处理方法。
根据本公开实施例，还提供一种计算机程序产品实施例，在电子设备上执行的情况下，适于执行初始化有任一项上述的拍摄图像处理方法的程序。
本公开所有实施例均可以单独被执行，也可以与其他实施例相结合被执行，均视为本公开要求的保护范围。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取非易失性存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本公开各个实施例上述方法的全部或部分步骤。而前述的非易失性存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (20)
- 一种拍摄图像处理方法，包括：获取拍摄预览界面中的拍摄图像，所述拍摄预览界面显示有第一控件；响应于所述第一控件对应的第一指令，确定与所述拍摄图像匹配的第一目标特效；将所述第一目标特效与所述拍摄图像进行合成，得到第一合成图像；在所述拍摄预览界面中显示所述第一合成图像。
- 根据权利要求1所述的拍摄图像处理方法，其中，所述确定与所述拍摄图像匹配的第一目标特效，包括：确定与所述拍摄图像对应的图像特征数据；将所述图像特征数据与多个初始特效集合进行匹配，得到目标特效集合，其中，所述目标特效集合包括至少一个特效；从所述目标特效集合中随机选取一个特效作为所述第一目标特效。
- 根据权利要求2所述的拍摄图像处理方法，其中，所述拍摄图像处理方法还包括：获取网络中的特效，并基于获取到的特效生成所述初始特效集合。
- 根据权利要求2所述的拍摄图像处理方法，其中，所述确定与所述拍摄图像对应的图像特征数据，包括：识别所述拍摄图像，得到所述图像特征数据，其中，所述图像特征数据包含以下至少之一：表情特征数据、手势特征数据、动作特征数据。
- 根据权利要求2所述的拍摄图像处理方法，其中，所述将所述图像特征数据与多个初始特效集合进行匹配，得到目标特效集合，包括：将所述图像特征数据与所述多个初始特效集合中每个特效的特征标记数据进行匹配；响应于所述图像特征数据与所述特征标记数据匹配成功，确定匹配到的特征标记数据对应的特效，将确定的特效所在的初始特效集合作为所述目标特效集合。
- 根据权利要求1所述的拍摄图像处理方法，其中，所述拍摄图像处理方法还包括：在所述拍摄预览界面中将所述第一控件切换为第二控件；响应于所述第二控件对应的第二指令，将所述第一目标特效切换为第二目标特效；将所述第二目标特效与所述拍摄图像进行合成，得到第二合成图像；在所述拍摄预览界面中显示所述第二合成图像。
- 一种拍摄图像处理装置，包括：获取单元，被配置为获取拍摄预览界面中的拍摄图像，所述拍摄预览界面显示有第一控件；确定单元，被配置为响应于所述第一控件对应的第一指令，确定与所述拍摄图像匹配的第一目标特效；处理单元，被配置为将所述第一目标特效与所述拍摄图像进行合成，得到第一合成图像；在所述拍摄预览界面中显示所述第一合成图像。
- 根据权利要求7所述的拍摄图像处理装置，其中，所述确定单元，包括：特征确定模块，被配置为确定与所述拍摄图像对应的图像特征数据；特征匹配模块，被配置为将所述图像特征数据与多个初始特效集合进行匹配，得到目标特效集合，其中，所述目标特效集合包括至少一个特效；特效选取模块，被配置为从所述目标特效集合中随机选取一个特效作为所述第一目标特效。
- 根据权利要求8所述的拍摄图像处理装置，其中，所述确定单元，还包括：特效获取模块，被配置为获取网络中的特效，并基于获取到的特效生成所述初始特效集合。
- 根据权利要求8所述的拍摄图像处理装置，其中，所述特征确定模块进一步被配置为：识别所述拍摄图像，得到所述图像特征数据，其中，所述图像特征数据包含以下至少之一：表情特征数据、手势特征数据、动作特征数据。
- 根据权利要求8所述的拍摄图像处理装置，其中，所述特征匹配模块进一步被配置为：将所述图像特征数据与所述多个初始特效集合中每个特效的特征标记数据进行匹配；响应于所述图像特征数据与所述特征标记数据匹配成功，确定匹配到的特征标记数据对应的特效，将确定的特效所在的初始特效集合作为所述目标特效集合。
- 根据权利要求7所述的拍摄图像处理装置，其中，所述装置还包括切换单元，所述切换单元被配置为：在所述拍摄预览界面中将所述第一控件切换为第二控件；所述确定单元进一步被配置为：响应于所述第二控件对应的第二指令，将所述第一目标特效切换为第二目标特效；所述处理单元进一步被配置为：将所述第二目标特效与所述拍摄图像进行合成，得到第二合成图像；在所述拍摄预览界面中显示所述第二合成图像。
- 一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如下步骤：获取拍摄预览界面中的拍摄图像，所述拍摄预览界面显示有第一控件；响应于所述第一控件对应的第一指令，确定与所述拍摄图像匹配的第一目标特效；将所述第一目标特效与所述拍摄图像进行合成，得到第一合成图像；在所述拍摄预览界面中显示所述第一合成图像。
- 根据权利要求13所述的设备，其中，所述确定与所述拍摄图像匹配的第一目标特效，包括：确定与所述拍摄图像对应的图像特征数据；将所述图像特征数据与多个初始特效集合进行匹配，得到目标特效集合，其中，所述目标特效集合包括至少一个特效；从所述目标特效集合中随机选取一个特效作为所述第一目标特效。
- 根据权利要求14所述的设备，其中，所述设备还包括：获取网络中的特效，并基于获取到的特效生成所述初始特效集合。
- 根据权利要求14所述的设备，其中，所述确定与所述拍摄图像对应的图像特征数据，包括：识别所述拍摄图像，得到所述图像特征数据，其中，所述图像特征数据包含以下至少之一：表情特征数据、手势特征数据、动作特征数据。
- 根据权利要求14所述的设备，其中，所述将所述图像特征数据与多个初始特效集合进行匹配，得到目标特效集合，包括：将所述图像特征数据与所述多个初始特效集合中每个特效的特征标记数据进行匹配；响应于所述图像特征数据与所述特征标记数据匹配成功，确定匹配到的特征标记数据对应的特效，将确定的特效所在的初始特效集合作为所述目标特效集合。
- 根据权利要求13所述的设备，其中，所述设备还包括：在所述拍摄预览界面中将所述第一控件切换为第二控件；响应于所述第二控件对应的第二指令，将所述第一目标特效切换为第二目标特效；将所述第二目标特效与所述拍摄图像进行合成，得到第二合成图像；在所述拍摄预览界面中显示所述第二合成图像。
- 一种非易失性存储介质，在所述非易失性存储介质中的指令由电子设备的处理器执行的情况下，所述电子设备能够执行如下步骤：获取拍摄预览界面中的拍摄图像，所述拍摄预览界面显示有第一控件；响应于所述第一控件对应的第一指令，确定与所述拍摄图像匹配的第一目标特效；将所述第一目标特效与所述拍摄图像进行合成，得到第一合成图像；在所述拍摄预览界面中显示所述第一合成图像。
- 一种计算机程序产品，其中，在电子设备上执行的情况下，适于执行初始化有包括如下步骤的程序：获取拍摄预览界面中的拍摄图像，所述拍摄预览界面显示有第一控件；响应于所述第一控件对应的第一指令，确定与所述拍摄图像匹配的第一目标特效；将所述第一目标特效与所述拍摄图像进行合成，得到第一合成图像；在所述拍摄预览界面中显示所述第一合成图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403714.9A CN112672036A (zh) | 2020-12-04 | 2020-12-04 | 拍摄图像处理方法及装置、电子设备 |
| CN202011403714.9 | 2020-12-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022116604A1 true WO2022116604A1 (zh) | 2022-06-09 |
Family
ID=75400883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2021/114061 WO2022116604A1 (zh) | 2020-12-04 | 2021-08-23 | 拍摄图像处理方法及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112672036A (zh) |
| WO (1) | WO2022116604A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112672036A (zh) * | 2020-12-04 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 拍摄图像处理方法及装置、电子设备 |
| CN113489901B (zh) * | 2021-06-30 | 2023-04-28 | 维沃移动通信（杭州）有限公司 | 拍摄方法及其装置 |
| CN113473017A (zh) * | 2021-07-01 | 2021-10-01 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN113473019A (zh) * | 2021-07-01 | 2021-10-01 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN113873168A (zh) * | 2021-10-27 | 2021-12-31 | 维沃移动通信有限公司 | 拍摄方法、装置、电子设备及介质 |
| CN114245021B (zh) * | 2022-02-14 | 2023-08-08 | 北京火山引擎科技有限公司 | 互动拍摄方法、电子设备、存储介质及计算机程序产品 |
| CN115237305A (zh) * | 2022-07-18 | 2022-10-25 | 北京达佳互联信息技术有限公司 | 拍摄界面显示方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140320701A1 (en) * | 2010-09-03 | 2014-10-30 | Olympus Imaging Corp. | Imaging apparatus, imaging method and computer-readable recording medium |
| CN106937043A (zh) * | 2017-02-16 | 2017-07-07 | 奇酷互联网络科技（深圳）有限公司 | 移动终端及其图像处理的方法和装置 |
| CN110035227A (zh) * | 2019-03-25 | 2019-07-19 | 维沃移动通信有限公司 | 特效效果显示方法及终端设备 |
| CN110611776A (zh) * | 2018-05-28 | 2019-12-24 | 腾讯科技（深圳）有限公司 | 特效处理方法、计算机设备和计算机存储介质 |
| CN112672036A (zh) * | 2020-12-04 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 拍摄图像处理方法及装置、电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103916597A (zh) * | 2014-03-17 | 2014-07-09 | 厦门美图之家科技有限公司 | 一种模拟场景的拍摄方法 |
| CN108174099A (zh) * | 2017-12-29 | 2018-06-15 | 光锐恒宇（北京）科技有限公司 | 图像显示方法、装置和计算机可读存储介质 |
| US10375313B1 (en) * | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
| CN110865754B (zh) * | 2019-11-11 | 2020-09-22 | 北京达佳互联信息技术有限公司 | 信息展示方法、装置及终端 |
-
2020
- 2020-12-04 CN CN202011403714.9A patent/CN112672036A/zh active Pending
-
2021
- 2021-08-23 WO PCT/CN2021/114061 patent/WO2022116604A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140320701A1 (en) * | 2010-09-03 | 2014-10-30 | Olympus Imaging Corp. | Imaging apparatus, imaging method and computer-readable recording medium |
| CN106937043A (zh) * | 2017-02-16 | 2017-07-07 | 奇酷互联网络科技（深圳）有限公司 | 移动终端及其图像处理的方法和装置 |
| CN110611776A (zh) * | 2018-05-28 | 2019-12-24 | 腾讯科技（深圳）有限公司 | 特效处理方法、计算机设备和计算机存储介质 |
| CN110035227A (zh) * | 2019-03-25 | 2019-07-19 | 维沃移动通信有限公司 | 特效效果显示方法及终端设备 |
| CN112672036A (zh) * | 2020-12-04 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 拍摄图像处理方法及装置、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112672036A (zh) | 2021-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022116604A1 (zh) | 拍摄图像处理方法及电子设备 | |
| US10674077B2 (en) | Apparatus and method for providing mixed reality content | |
| CN106385591B (zh) | 视频处理方法及视频处理装置 | |
| WO2022042776A1 (zh) | 一种拍摄方法及终端 | |
| TWI586160B (zh) | 利用行動電話及雲端可視化搜尋引擎之即時物體掃描 | |
| CN110928411B (zh) | 一种基于ar的交互方法、装置、存储介质及电子设备 | |
| CN111277761B (zh) | 视频拍摄方法、装置、系统、电子设备和存储介质 | |
| CN111643900A (zh) | 一种展示画面控制方法、装置、电子设备和存储介质 | |
| CN106815803B (zh) | 图片的处理方法及装置 | |
| CN112532885B (zh) | 防抖方法、装置及电子设备 | |
| CN109104633B (zh) | 视频截图方法、装置、存储介质及移动终端 | |
| CN110033502B (zh) | 视频制作方法、装置、存储介质及电子设备 | |
| CN112511743B (zh) | 视频拍摄方法和装置 | |
| CN112784081A (zh) | 一种图像显示方法、装置及电子设备 | |
| CN112887615A (zh) | 拍摄的方法及装置 | |
| CN110363814A (zh) | 一种视频处理方法、装置、电子装置和存储介质 | |
| CN112532904B (zh) | 视频的处理方法、装置及电子设备 | |
| CN115278084A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN115187757A (zh) | 基于真实形象改变虚拟形象的图像处理方法及相关产品 | |
| CN111800574B (zh) | 成像方法、装置和电子设备 | |
| CN116828131A (zh) | 基于虚拟现实的拍摄处理方法、装置及电子设备 | |
| CN114429506A (zh) | 图像处理方法、装置、设备、存储介质和程序产品 | |
| CN113489901B (zh) | 拍摄方法及其装置 | |
| CN114285988B (zh) | 显示方法、装置、电子设备及存储介质 | |
| CN108919957A (zh) | 一种图像传输方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21899640 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21899640 Country of ref document: EP Kind code of ref document: A1 |