WO2019100756A1 - 图像采集方法、装置和电子设备 - Google Patents

图像采集方法、装置和电子设备 Download PDF

Info

Publication number
WO2019100756A1
WO2019100756A1 PCT/CN2018/098601 CN2018098601W WO2019100756A1 WO 2019100756 A1 WO2019100756 A1 WO 2019100756A1 CN 2018098601 W CN2018098601 W CN 2018098601W WO 2019100756 A1 WO2019100756 A1 WO 2019100756A1
Authority
WO
WIPO (PCT)
Prior art keywords
preparation
image
human body
action
body motion
Prior art date
Application number
PCT/CN2018/098601
Other languages
English (en)
French (fr)
Inventor
白鸽
严程
李震
徐琪
胡翊晖
张清雅
Original Assignee
乐蜜有限公司
白鸽
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 乐蜜有限公司, 白鸽 filed Critical 乐蜜有限公司
Publication of WO2019100756A1 publication Critical patent/WO2019100756A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Definitions

  • the present application relates to the field of mobile terminal technologies, and in particular, to an image collection method, apparatus, and electronic device.
  • Somatosensory games through the Internet operation platform, human-computer interaction, by controlling the movement of the player's body to control the movements of the characters in the game, can allow the player to "full body” into the game, enjoy a new experience of somatosensory interaction.
  • the somatosensory game is mainly applied to a fixed device such as a game console, a computer, a television, etc.
  • a fixed device such as a game console, a computer, a television, etc.
  • the portability is poor.
  • the camera may accidentally capture the image, or when the user is standing in the unaligned area of the camera, the image captured by the camera is invalid, thereby causing the camera to capture the image. The validity and accuracy are poor.
  • the present application aims to solve at least one of the technical problems in the related art to some extent.
  • the first object of the present application is to provide an image acquisition method, so as to start image acquisition when the human body action and the preparation action are matched, thereby preventing the user from inadvertently triggering the shooting control of the electronic device, thereby causing the camera.
  • the validity and accuracy of subsequent image acquisition can be ensured.
  • a second object of the present application is to provide an image capture device.
  • a third object of the present application is to propose an electronic device.
  • a fourth object of the present application is to propose a non-transitory computer readable storage medium.
  • a fifth object of the present application is to propose a computer program product.
  • the first aspect of the present application provides an image collection method, including:
  • the method further includes:
  • the preparation image is re-acquired.
  • the starting to perform image collection includes:
  • pre-selected audio is started to be played, and each video frame is acquired during the playing of the audio.
  • the pre-selected audio is started to be played, and after each video picture frame is collected in the process of playing the audio, the method further includes :
  • a target video is generated based on the audio, each video frame frame, and motion evaluation information of each human body motion.
  • the identifying the human body motion in the preparation image includes:
  • the human body motion is determined according to the actual angle between the connection between the adjacent two joints and the preset reference direction.
  • the determining whether the human body action in the preparation image matches the preparation action comprises:
  • the preparing an interface, displaying a preparation action, and collecting a preparation image further includes:
  • a translucent mask is displayed, wherein the mask has a hollowed out interest area, and an image for indicating the preparation action is displayed in the attention area;
  • the camera is called to capture the prepared image.
  • the image collection method of the embodiment of the present application advances into an accurate stage before the image acquisition by the electronic device. Specifically, in preparing the interface, displaying the preparation action, and collecting the preparation image; identifying the human body motion in the preparation image; determining whether the human body motion in the preparation image matches the preparation motion; and when the human body motion in the preparation image matches the preparation motion, Start image acquisition.
  • the image acquisition is started, thereby preventing the user from inadvertently triggering the shooting control of the electronic device, thereby causing the camera to accidentally acquire the image, or avoiding the camera being in the wrong state.
  • Image acquisition is performed in the case of a prospective user, resulting in the entry of an invalid image, which ensures the validity and accuracy of subsequent image acquisition.
  • the image collection method can be applied to an electronic device, and the applicability of the method is effectively improved, and the existing portability game is applied to a fixed device, and the portability is poor.
  • the camera may accidentally capture the image, or when the user is standing in the unaligned area of the camera, the image captured by the camera is invalid, thereby causing the camera to capture the image.
  • Technical issues with poor validity and accuracy when the user does not intend to trigger the shooting control in the application of the somatosensory game, the camera may accidentally capture the image, or when the user is standing in the unaligned area of the camera, the image captured by the camera is invalid, thereby causing the camera to capture the image.
  • an image collecting apparatus including:
  • a display module for displaying a preparation action in the preparation interface, and collecting a preparation image
  • An identification module configured to identify a human body motion in the prepared image
  • a determining module configured to determine whether a human body action in the preparation image matches the preparation action
  • the collecting module is configured to start image capturing when the human body motion in the preparation image matches the preparation motion.
  • the acquiring module is further configured to:
  • the preparation image is re-acquired.
  • the acquiring module is specifically configured to:
  • pre-selected audio is started to be played, and each video frame is acquired during the playing of the audio.
  • the device further includes:
  • a display generation module configured to start playing pre-selected audio in the shooting interface, and after capturing each video picture frame in the process of playing the audio, displaying the corresponding when the audio is played to each time node Standard action, and identifying a human body motion in a video frame frame acquired synchronously with the time node; generating motion evaluation information of the human body motion according to a degree of difference between the standard action and the human body motion at the same time node And generating a target video based on the audio, each video frame frame, and motion evaluation information of each human body motion.
  • the identifying module is specifically configured to:
  • the human body motion is determined according to the actual angle between the connection between the adjacent two joints and the preset reference direction.
  • the determining module is specifically configured to:
  • the display module is specifically configured to:
  • a translucent mask is displayed, wherein the mask has a hollowed out interest area, and an image for indicating the preparation action is displayed in the attention area;
  • the camera is called to capture the prepared image.
  • the image acquisition device of the embodiment of the present application advances into an accurate stage before the image acquisition by the electronic device. Specifically, in preparing the interface, displaying the preparation action, and collecting the preparation image; identifying the human body motion in the preparation image; determining whether the human body motion in the preparation image matches the preparation motion; and when the human body motion in the preparation image matches the preparation motion, Start image acquisition.
  • the image acquisition is started, thereby preventing the user from inadvertently triggering the shooting control of the electronic device, thereby causing the camera to accidentally acquire the image, or avoiding the camera being in the wrong state.
  • Image acquisition is performed in the case of a prospective user, resulting in the entry of an invalid image, which ensures the validity and accuracy of subsequent image acquisition.
  • the image collection method can be applied to an electronic device, and the applicability of the method is effectively improved, and the existing portability game is applied to a fixed device, and the portability is poor.
  • the camera may accidentally capture the image, or when the user is standing in the unaligned area of the camera, the image captured by the camera is invalid, thereby causing the camera to capture the image.
  • Technical issues with poor validity and accuracy when the user does not intend to trigger the shooting control in the application of the somatosensory game, the camera may accidentally capture the image, or when the user is standing in the unaligned area of the camera, the image captured by the camera is invalid, thereby causing the camera to capture the image.
  • an embodiment of the third aspect of the present application provides an electronic device including: a housing, a processor, a memory, a circuit board, and a power supply circuit, wherein the circuit board is disposed inside the space enclosed by the housing, and is processed. And a memory disposed on the circuit board; a power supply circuit for powering each circuit or device of the electronic device; a memory for storing executable program code; and the processor operating by reading executable program code stored in the memory The program corresponding to the executable program code is used to execute the image collection method described in the first aspect of the present application.
  • a fourth aspect of the present application provides a non-transitory computer readable storage medium having stored thereon a computer program, wherein the program is executed by a processor to implement an embodiment of the first aspect of the present application.
  • the fifth aspect of the present application provides a computer program product, and when the instructions in the computer program product are executed by a processor, performing an image acquisition method according to the first aspect of the present application. .
  • FIG. 1 is a schematic flowchart diagram of a first image collection method according to an embodiment of the present application
  • FIG. 2 is a schematic flowchart of a second image collection method according to an embodiment of the present application.
  • FIG. 3 is a schematic flowchart of a third image collection method according to an embodiment of the present application.
  • FIG. 4 is a schematic structural diagram of an image collection device according to an embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of another image capturing apparatus according to an embodiment of the present disclosure.
  • FIG. 6 is a schematic structural diagram of an embodiment of an electronic device according to the present application.
  • the preparation phase is advanced before the image collection by the electronic device. Specifically, in preparing the interface, displaying the preparation action, and collecting the preparation image; identifying the human body motion in the preparation image; determining whether the human body motion in the preparation image matches the preparation motion; and when the human body motion in the preparation image matches the preparation motion, Start image acquisition.
  • the image acquisition is started, thereby preventing the user from inadvertently triggering the shooting control of the electronic device, thereby causing the camera to accidentally acquire the image, or avoiding the camera being in the wrong state.
  • Image acquisition is performed in the case of a prospective user, resulting in the entry of an invalid image, which ensures the validity and accuracy of subsequent image acquisition.
  • the image acquisition method can be applied to an electronic device, thereby effectively improving the applicability of the method.
  • FIG. 1 is a schematic flowchart diagram of a first image collection method according to an embodiment of the present application.
  • the image collection method can be applied to an electronic device, such as a personal computer (PC), a cloud device or a mobile device, a mobile device such as a smart phone, or a tablet computer.
  • PC personal computer
  • cloud device or a mobile device
  • mobile device such as a smart phone
  • tablet computer a tablet computer
  • the image acquisition method includes the following steps:
  • step 101 in the preparation interface, the preparation action is displayed, and the preparation image is collected.
  • the electronic device may enter the preparation phase before the image is collected.
  • a preparation action may be displayed, which may be preset by a built-in program of the electronic device, and the preparation action may be, for example, a two-handed action, or the like, and is not limited thereto.
  • the camera of the electronic device can capture the preparation image, wherein the preparation image includes the human body action made by the user.
  • the preparation action may be displayed in any area of the preparation interface, and the preparation action may be fixed in a preset time period, or the preparation action may be moved along a preset track, which is not limited.
  • the preset track may be preset for the built-in program of the electronic device.
  • the user can watch the preparation action.
  • the semi-transparent mask can be displayed on the preparation interface, wherein the mask has In the hollowed out interest area, an image for indicating the preparation action is displayed in the attention area, that is, a schematic diagram showing the preparation action in the attention area.
  • the preparation action may be displayed in the form of a barrage in the preparation interface, which is not limited.
  • Step 102 identifying a human body motion in the preparation image.
  • the camera for collecting the prepared image may be a camera capable of collecting user depth information, and the acquired depth information may identify the human body motion in the preparation image.
  • the camera can be a depth camera (Red-Green-Blue Depth, RGBD), and the depth information of the human body in the preparation image can be acquired while being imaged, so that the human body motion in the preparation image can be identified according to the depth information.
  • the body motion depth information can be acquired by the structured light or the TOF lens, so that the human body motion in the preparation image can be identified according to the depth information, which is not limited.
  • each joint of the human body in the preparation image can be identified.
  • the face information in the preparation image and the position information of the human face can be recognized according to the face recognition technology, and then according to the body and the human body anatomy The relationship between the height and the height can be used to calculate the position information of each joint of the human body.
  • other algorithms can also be used to determine the position information of each joint of the human body in the preparation image, which is not limited.
  • the two joints adjacent to each joint of the human body can be connected to obtain the connection between the adjacent two joints, and finally according to the actual angle between the connection between the adjacent joints and the preset reference direction. Determine the human motion in the video frame.
  • the preset reference direction may be a horizontal direction or a vertical direction.
  • Step 103 Determine whether the human body motion in the preparation image matches the preparation motion.
  • whether the human body action matches the preparation action may be determined according to whether the difference degree between the human body action and the preparation action is greater than a difference threshold. Specifically, it is possible to determine a standard angle between a line connecting each adjacent two joints and a reference direction when performing the preparation action, and compare the corresponding standard angle with the actual line for each adjacent two joints. The difference between the angles. When the difference calculated by the connection between each adjacent two joints is within the error range, it can be determined that the human body motion in the preparation image matches the preparation motion, and when there is at least one adjacent joint between the two joints When the difference calculated by the line is not within the error range, it can be determined that the human body action in the preparation image does not match the preparation action.
  • step 104 if the human body motion in the preparation image matches the preparation motion, image acquisition is started.
  • the human body motion in the preparation image matches the preparation motion, it indicates that the degree of difference between the human body motion and the preparation motion made by the user is small, and at this time, image acquisition may be started.
  • the user can pre-select audio in the shooting interface, and the electronic device can play the audio according to the user's operation, and simultaneously open the camera to collect each video frame.
  • the image acquisition method of this embodiment advances into an accurate stage before the image acquisition by the electronic device. Specifically, in preparing the interface, displaying the preparation action, and collecting the preparation image; identifying the human body motion in the preparation image; determining whether the human body motion in the preparation image matches the preparation motion; and when the human body motion in the preparation image matches the preparation motion, Start image acquisition.
  • the image acquisition is started, thereby preventing the user from inadvertently triggering the shooting control of the electronic device, thereby causing the camera to accidentally acquire the image, or avoiding the camera being in the wrong state.
  • Image acquisition is performed in the case of a prospective user, resulting in the entry of an invalid image, which ensures the validity and accuracy of subsequent image acquisition.
  • the image acquisition method can be applied to an electronic device, which effectively improves the applicability of the method, and is used to solve the problem that the existing somatosensory game is applied to a fixed device, and the portability is poor.
  • the camera may accidentally capture the image, or when the user is standing in the unaligned area of the camera, the image captured by the camera is invalid, thereby causing the camera to capture the image.
  • image acquisition is started, which specifically includes the following steps:
  • step 201 prompt information indicating that the preparation is completed is displayed on the preparation interface.
  • the preparation interface may be exited to enter the shooting interface.
  • the prompt information for indicating the preparation is displayed on the preparation interface, for example, the action is correct, and the shooting process is entered.
  • step 202 the preparation interface is exited and the shooting interface is displayed.
  • Step 203 At the shooting interface, start playing pre-selected audio, and collect each video frame during the playing of the audio.
  • the shooting interface may include a shooting control.
  • the shooting interface may automatically display the song selection interface, and then the user may select from the song.
  • the interface randomly selects an audio as its own selected audio.
  • the electronic device can play the audio according to the user's operation. For example, when the electronic device detects that the user clicks on the audio, the electronic device can play the audio, and simultaneously open the camera to collect each video frame.
  • the prompting information for indicating the preparation is displayed on the preparation interface, the preparation interface is exited, and the shooting interface is displayed.
  • the shooting interface the pre-selected audio is started to be played, and the audio is collected during the playing of the audio.
  • the prompt information for indicating the preparation in the preparation interface the preparation interface is exited, and the shooting interface is displayed, thereby preventing the user from inadvertently triggering the shooting control of the electronic device, thereby causing the camera to accidentally collect the image.
  • the image collection method may further include the following steps:
  • Step 301 when the audio is played to each time node, the corresponding standard action is displayed.
  • the standard action corresponding to the time node can be displayed on the shooting interface.
  • a schematic diagram of a standard motion may be displayed in any area of the shooting interface.
  • the schematic diagram of the standard motion may be fixed, or the schematic diagram of the standard motion may move along a preset trajectory. limit.
  • the preset track may be preset for the built-in program of the electronic device.
  • the user can watch the standard action.
  • the semi-transparent mask can be displayed on the shooting interface, wherein the mask has In the hollowed out area of interest, the area of interest displays an image showing the standard action, ie a schematic showing the standard actions in the area of interest.
  • the corresponding standard action can be displayed in the form of a barrage on the shooting interface, which is not limited.
  • the schematic diagram of the standard motion moves along the preset trajectory
  • the photographing interface displays the schematic diagram of the standard motion
  • the schematic diagram of the standard motion can be controlled to move along the preset trajectory.
  • Step 302 Identify a human body motion in a video frame frame acquired synchronously with the time node.
  • the camera for collecting video frame frames may be a camera capable of collecting user depth information, and the acquired depth information may identify human body motions in the video frame.
  • the camera may be a depth camera, and at the same time, the depth information of the human body in the video picture frame may be acquired, so that the human body motion in the video picture frame can be identified according to the depth information.
  • the body motion depth information can be acquired by the structured light or the TOF lens, so that the human body motion in the video frame frame can be identified according to the depth information, which is not limited.
  • the joints of the human body in the standard image can be identified, and then the two joints adjacent to each joint of the human body are connected to obtain the connection between the adjacent joints, and finally according to the relationship between the adjacent joints.
  • the actual angle between the connection and the preset reference direction determines the human motion in the video frame.
  • Step 303 Generate action evaluation information of the human body action according to the degree of difference between the standard action and the human body motion at the same time node.
  • the evaluation information of the human body action includes a human body action score, which is used to indicate the degree of difference between the human body motion and the corresponding standard motion. Specifically, the higher the human body action score indicates the human body motion and the corresponding standard. The smaller the difference between the actions, the lower the human action score, indicating the greater the difference between the human body movement and the corresponding standard action.
  • the score obtained by the user's human motion may be set to 0, and when the human motion in the video frame matches the standard motion, A line connecting two adjacent joints determines the scoring coefficient of the line according to the corresponding difference and error range.
  • the mark error range is [a, b]
  • the scoring coefficient p of the connection is calculated, or the scoring coefficient of the connection may be calculated according to other algorithms, which is not limited.
  • the evaluation information of the connection may be generated according to the scoring coefficient of the connection and the score corresponding to the connection. For example, the evaluation information of the connection may be equal to the scoring coefficient of the connection multiplied by the connection. Corresponding score.
  • the evaluation information of the human body motion can be obtained by adding the evaluation information of the links between the adjacent two joints.
  • the motion evaluation information of the human body motion may further include an animation effect corresponding to the section to which the human motion score belongs. For example, when the human action score is 100, if the human action score belongs to the interval [90, 100], the animation effect can be “perfect or perfect” and match the diamond flash, the interval [80, 90), the animation effect can It is "very good or good” and is matched with flowers.
  • the generated human action score is 94 points, and the animation effect generated on the shooting interface is “perfect” and is matched with the diamond flashing.
  • Step 304 Generate a target video according to audio, each video frame frame, and motion evaluation information of each human body motion.
  • the evaluation information of the human body motion corresponding to the different time nodes may be acquired, and then generated according to the audio, the acquired video image frames, and the motion evaluation information of the corresponding human motion.
  • Target video when the audio playback of the shooting interface ends, the evaluation information of the human body motion corresponding to the different time nodes may be acquired, and then generated according to the audio, the acquired video image frames, and the motion evaluation information of the corresponding human motion.
  • the shooting interface displays a standard action corresponding to the last time node of the audio
  • the camera collects the video frame frame during the display of the standard action, and then the application in the electronic device according to the standard action of the last time node and the human body
  • the degree of difference between the actions generates action evaluation information of the human body motion.
  • the evaluation information of the human body motion corresponding to each time node may be acquired, and then the target video is generated according to the audio, the acquired video image frames, and the corresponding motion evaluation information of the human body motion.
  • the video frame frame of the human body motion is collected, and the adjacent joints of the human body can be identified by identifying the adjacent joints of the human body video frame frame, and the connection of the adjacent joints is calculated.
  • the actual angle between the preset reference direction and according to the difference between the actual angle and the standard angle, determine whether the human body motion matches the standard motion, thereby achieving accurate recognition of the human body motion.
  • the evaluation information may indicate the degree of difference between the human body motion and the standard motion, and finally, after the video is generated, the user can understand and correct the human body motion during playback, so that the next time the video is recorded It can improve the standard of human movement.
  • the present application also proposes an image acquisition device.
  • FIG. 4 is a schematic structural diagram of an image collection device according to an embodiment of the present application.
  • the image collection device 400 includes a display module 410, an identification module 420, a determination module 430, and an acquisition module 440. among them,
  • the display module 410 is configured to display a preparation action and prepare a preparation image in the preparation interface.
  • the display module 410 is specifically configured to display a translucent mask in the preparation interface, wherein the mask has a hollowed out interest area, and an image for indicating a preparation action is displayed in the attention area; calling the camera, To capture the prepared image.
  • the identification module 420 is configured to identify a human body motion in the preparation image.
  • the determining module 430 is configured to determine whether the human body action in the preparation image matches the preparation action.
  • the collecting module 440 is configured to start image capturing when the human body motion in the preparation image matches the preparation motion.
  • the collecting module 440 is specifically configured to display prompt information for indicating completion in the preparation interface, exit the preparation interface, and display the shooting interface; in the shooting interface, start playing pre-selected audio, and play Each video frame is captured during the audio process.
  • the collecting module 440 is further configured to re-collect the preparation image when the human body motion in the preparation image does not match the preparation motion.
  • the image collection device 400 may further include:
  • the display generation module 450 is configured to start playing pre-selected audio in the shooting interface, and after capturing each video picture frame in the process of playing audio, display corresponding standard actions when the audio is played to each time node, and identify The human body motion in the video frame frame acquired synchronously with the time node; generating motion evaluation information of the human body motion according to the degree of difference between the standard motion and the human body motion at the same time; according to the audio, each video frame frame, and each human body motion The action evaluation information generates a target video.
  • the identification module 420 is specifically configured to identify each joint of the human body in the preparation image; connect two adjacent joints in each joint of the human body to obtain a connection between two adjacent joints; The actual angle between the joint between the joints and the preset reference direction determines the human body motion.
  • the determining module 430 is specifically configured to determine a standard angle between a connection line between each adjacent two joints and a reference direction when performing the preparation action; The connection, compare the difference between the corresponding standard angle and the actual angle; if the difference calculated by the connection between each adjacent two joints is within the error range, determine whether the human body motion in the prepared image is The action matching is prepared; if the difference calculated by the connection between at least one adjacent two joints is not within the error range, it is determined that the human body action in the preparation image does not match the preparation action.
  • the image acquisition device of this embodiment advances into an accurate stage before the image acquisition by the electronic device. Specifically, in preparing the interface, displaying the preparation action, and collecting the preparation image; identifying the human body motion in the preparation image; determining whether the human body motion in the preparation image matches the preparation motion; and when the human body motion in the preparation image matches the preparation motion, Start image acquisition.
  • the image acquisition is started, thereby preventing the user from inadvertently triggering the shooting control of the electronic device, thereby causing the camera to accidentally acquire the image, or avoiding the camera being in the wrong state.
  • Image acquisition is performed in the case of a prospective user, resulting in the entry of an invalid image, which ensures the validity and accuracy of subsequent image acquisition.
  • the image acquisition method can be applied to an electronic device, which effectively improves the applicability of the method, and is used to solve the problem that the existing somatosensory game is applied to a fixed device, and the portability is poor.
  • the camera may accidentally capture the image, or when the user is standing in the unaligned area of the camera, the image captured by the camera is invalid, thereby causing the camera to capture the image.
  • the embodiment of the present application further provides an electronic device, where the electronic device includes the device described in any of the foregoing embodiments.
  • FIG. 6 is a schematic structural diagram of an embodiment of an electronic device according to the present application, which may implement the process of the embodiment shown in FIG. 1-5 of the present application.
  • the electronic device may include: a housing 61, a processor 62, and a memory.
  • the circuit board 64 is disposed inside the space surrounded by the housing 61, the processor 62 and the memory 63 are disposed on the circuit board 64; and the power supply circuit 65 is used for the electronic device
  • the memory 63 is for storing executable program code
  • the processor 62 is operative to execute a program corresponding to the executable program code by reading the executable program code stored in the memory 63 for performing any of the foregoing embodiments The image acquisition method described.
  • the electronic device exists in a variety of forms including, but not limited to:
  • Mobile communication devices These devices are characterized by mobile communication functions and are mainly aimed at providing voice and data communication.
  • Such terminals include: smart phones (such as iPhone), multimedia phones, functional phones, and low-end phones.
  • Ultra-mobile personal computer equipment This type of equipment belongs to the category of personal computers, has computing and processing functions, and generally has mobile Internet access.
  • Such terminals include: PDAs, MIDs, and UMPC devices, such as the iPad.
  • Portable entertainment devices These devices can display and play multimedia content. Such devices include: audio, video players (such as iPod), handheld game consoles, e-books, and smart toys and portable car navigation devices.
  • the server consists of a processor, a hard disk, a memory, a system bus, etc.
  • the server is similar to a general-purpose computer architecture, but because of the need to provide highly reliable services, processing power and stability High reliability in terms of reliability, security, scalability, and manageability.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory (RAM).
  • the present application further provides a non-transitory computer readable storage medium having stored thereon a computer program, wherein the program is executed by a processor to implement an image acquisition method as described in the foregoing embodiments. .
  • the present application also provides a computer program product that, when executed by a processor, performs an image acquisition method as described in the foregoing embodiments.
  • first and second are used for descriptive purposes only and are not to be construed as indicating or implying a relative importance or implicitly indicating the number of technical features indicated.
  • features defining “first” or “second” may include at least one of the features, either explicitly or implicitly.
  • the meaning of "a plurality” is at least two, such as two, three, etc., unless specifically defined otherwise.
  • a "computer-readable medium” can be any apparatus that can contain, store, communicate, propagate, or transport a program for use in an instruction execution system, apparatus, or device, or in conjunction with the instruction execution system, apparatus, or device.
  • computer readable media include the following: electrical connections (electronic devices) having one or more wires, portable computer disk cartridges (magnetic devices), random access memory (RAM), Read only memory (ROM), erasable editable read only memory (EPROM or flash memory), fiber optic devices, and portable compact disk read only memory (CDROM).
  • the computer readable medium may even be a paper or other suitable medium on which the program can be printed, as it may be optically scanned, for example by paper or other medium, followed by editing, interpretation or, if appropriate, other suitable The method is processed to obtain the program electronically and then stored in computer memory.
  • portions of the application can be implemented in hardware, software, firmware, or a combination thereof.
  • multiple steps or methods may be implemented in software or firmware stored in a memory and executed by a suitable instruction execution system.
  • a suitable instruction execution system For example, if implemented in hardware and in another embodiment, it can be implemented by any one or combination of the following techniques well known in the art: discrete with logic gates for implementing logic functions on data signals Logic circuits, application specific integrated circuits with suitable combinational logic gates, programmable gate arrays (PGAs), field programmable gate arrays (FPGAs), and the like.
  • each functional unit in each embodiment of the present application may be integrated into one processing module, or each unit may exist physically separately, or two or more units may be integrated into one module.
  • the above integrated modules can be implemented in the form of hardware or in the form of software functional modules.
  • the integrated modules, if implemented in the form of software functional modules and sold or used as stand-alone products, may also be stored in a computer readable storage medium.
  • the above mentioned storage medium may be a read only memory, a magnetic disk or an optical disk or the like. While the embodiments of the present application have been shown and described above, it is understood that the above-described embodiments are illustrative and are not to be construed as limiting the scope of the present application. The embodiments are subject to variations, modifications, substitutions and variations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提出一种图像采集方法、装置和电子设备，其中，方法包括：在准备界面，展示准备动作，并采集准备图像；识别准备图像中的人体动作；判断准备图像中的人体动作是否与准备动作匹配；若准备图像中的人体动作与准备动作匹配，开始进行图像采集。该方法通过在人体动作与准备动作匹配时，开始进行图像采集，由此可以避免用户无意触发电子设备的拍摄控件，从而导致摄像头误采集图像的情况，或者，可以避免摄像头在未对准用户的情况下就进行图像采集，从而导致录入无效的图像的情况，能够保证后续图像采集的有效性和准确性。此外，该图像采集方法可以应用于电子设备中，有效提升该方法的适用性。

Description

图像采集方法、装置和电子设备
相关申请的交叉引用
本申请要求乐蜜有限公司于2017年11月23日提交的、发明名称为“图像采集方法、装置和电子设备”的、中国专利申请号“201711182910.6”的优先权。
技术领域
本申请涉及移动终端技术领域，尤其涉及一种图像采集方法、装置和电子设备。
背景技术
体感游戏，通过互联网运营平台，进行人机互动，通过识别玩家身体的动作来控制游戏中人物的动作，能够让玩家“全身”投入到游戏当中，享受到体感互动的新体验。现有技术中，体感游戏主要应用于游戏主机、电脑、电视等固定设备上，当用户打开固定设备中体感游戏的应用程序时，用户可以直接开始游戏，而后，体感游戏的应用程序可以采集用户做出的身体动作。
这种方式下，由于体感游戏应用于固定设备上，便携性较差。此外，当用户无意触发体感游戏的应用程序中的拍摄控件时，将导致摄像头误采集图像，或者，当用户站在摄像头未对准的区域时，导致摄像头采集的图像无效，从而导致摄像头采集图像的有效性和准确性较差。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种图像采集方法，以实现在人体动作与准备动作匹配时，开始进行图像采集，由此可以避免用户无意触发电子设备的拍摄控件，从而导致摄像头误采集图像的情况，或者，可以避免摄像头在未对准用户的情况下就进行图像采集，从而导致录入无效的图像的情况，能够保证后续图像采集的有效性和准确性。
本申请的第二个目的在于提出一种图像采集装置。
本申请的第三个目的在于提出一种电子设备。
本申请的第四个目的在于提出一种非临时性计算机可读存储介质。
本申请的第五个目的在于提出一种计算机程序产品。
为达上述目的，本申请第一方面实施例提出了一种图像采集方法，包括：
在准备界面，展示准备动作，并采集准备图像；
识别所述准备图像中的人体动作；
判断所述准备图像中的人体动作是否与所述准备动作匹配；
若所述准备图像中的人体动作与所述准备动作匹配，开始进行图像采集。
可选地，作为第一方面的第一种可能的实现方式，所述方法还包括：
若所述准备图像中的人体动作与所述准备动作不匹配，重新采集准备图像。
可选地，作为第一方面的第二种可能的实现方式，所述开始进行图像采集，包括：
在所述准备界面显示用于指示准备完毕的提示信息；
退出所述准备界面，并展示拍摄界面；
在所述拍摄界面，开始播放预先选定的音频，并在播放所述音频过程中采集各视频画面帧。
可选地，作为第一方面的第三种可能的实现方式，所述在所述拍摄界面，开始播放预先选定的音频，并在播放所述音频过程中采集各视频画面帧之后，还包括：
在所述音频播放至每一个时间节点时，展示对应的标准动作，并识别与所述时间节点同步采集的视频画面帧中的人体动作；
根据同一时间节点的所述标准动作与所述人体动作之间的差异程度，生成所述人体动作的动作评价信息；
根据所述音频、各视频画面帧和各人体动作的动作评价信息，生成目标视频。
可选地，作为第一方面的第四种可能的实现方式，所述识别所述准备图像中的人体动作，包括：
识别所述准备图像中人体的各关节；
连接人体各关节中相邻的两关节，得到相邻两关节之间的连线；
根据相邻两关节之间的连线与预设参考方向之间的实际夹角，确定人体动作。
可选地，作为第一方面的第五种可能的实现方式，所述判断所述准备图像中的人体动作是否与所述准备动作匹配，包括：
确定在执行所述准备动作时，各相邻两关节之间的连线与所述参考方向之间的标准角度；
针对每一条相邻两关节之间的连线，比较对应的所述标准角度与所述实际角度之间的差值；
若每一条相邻两关节之间的连线计算出的差值均在误差范围内，确定所述准备图像中 的人体动作是否与所述准备动作匹配；
若存在至少一条相邻两关节之间的连线计算出的差值未处于误差范围内，确定所述准备图像中的人体动作与所述准备动作不匹配。
可选地，作为第一方面的第六种可能的实现方式，所述在准备界面，展示准备动作，并采集准备图像，还包括：
在所述准备界面，展示半透明蒙版，其中，所述蒙版具有镂空的关注区，所述关注区内展示有用于示意所述准备动作的图像；
调用摄像头，以采集所述准备图像。
本申请实施例的图像采集方法，通过在电子设备进行图像采集前，预先进入准确阶段。具体地，在准备界面，展示准备动作，并采集准备图像；识别准备图像中的人体动作；判断准备图像中的人体动作是否与准备动作匹配；在准备图像中的人体动作与准备动作匹配时，开始进行图像采集。本实施例中，通过在人体动作与准备动作匹配时，开始进行图像采集，由此可以避免用户无意触发电子设备的拍摄控件，从而导致摄像头误采集图像的情况，或者，可以避免摄像头在未对准用户的情况下就进行图像采集，从而导致录入无效的图像的情况，能够保证后续图像采集的有效性和准确性。此外，该图像采集方法可以应用于电子设备中，有效提升该方法的适用性，用于解决现有由于体感游戏应用于固定设备上，便携性较差。此外，当用户无意触发体感游戏的应用程序中的拍摄控件时，将导致摄像头误采集图像，或者，当用户站在摄像头未对准的区域时，导致摄像头采集的图像无效，从而导致摄像头采集图像的有效性和准确性较差的技术问题。
为达上述目的，本申请第二方面实施例提出了一种图像采集装置，包括：
展示模块，用于在准备界面，展示准备动作，并采集准备图像；
识别模块，用于识别所述准备图像中的人体动作；
判断模块，用于判断所述准备图像中的人体动作是否与所述准备动作匹配；
采集模块，用于在所述准备图像中的人体动作与所述准备动作匹配时，开始进行图像采集。
可选地，作为第二方面的第一种可能的实现方式，所述采集模块，还用于：
在所述准备图像中的人体动作与所述准备动作不匹配时，重新采集准备图像。
可选地，作为第二方面的第二种可能的实现方式，所述采集模块，具体用于：
在所述准备界面显示用于指示准备完毕的提示信息；
退出所述准备界面，并展示拍摄界面；
在所述拍摄界面，开始播放预先选定的音频，并在播放所述音频过程中采集各视频画面帧。
可选地，作为第二方面的第三种可能的实现方式，所述装置还包括：
展示生成模块，用于在所述拍摄界面，开始播放预先选定的音频，并在播放所述音频过程中采集各视频画面帧之后，在所述音频播放至每一个时间节点时，展示对应的标准动作，并识别与所述时间节点同步采集的视频画面帧中的人体动作；根据同一时间节点的所述标准动作与所述人体动作之间的差异程度，生成所述人体动作的动作评价信息；根据所述音频、各视频画面帧和各人体动作的动作评价信息，生成目标视频。
可选地，作为第二方面的第四种可能的实现方式，所述识别模块，具体用于：
识别所述准备图像中人体的各关节；
连接人体各关节中相邻的两关节，得到相邻两关节之间的连线；
根据相邻两关节之间的连线与预设参考方向之间的实际夹角，确定人体动作。
可选地，作为第二方面的第五种可能的实现方式，所述判断模块，具体用于：
确定在执行所述准备动作时，各相邻两关节之间的连线与所述参考方向之间的标准角度；
针对每一条相邻两关节之间的连线，比较对应的所述标准角度与所述实际角度之间的差值；
若每一条相邻两关节之间的连线计算出的差值均在误差范围内，确定所述准备图像中的人体动作是否与所述准备动作匹配；
若存在至少一条相邻两关节之间的连线计算出的差值未处于误差范围内，确定所述准备图像中的人体动作与所述准备动作不匹配。
可选地，作为第二方面的第六种可能的实现方式，所述展示模块，具体用于：
在所述准备界面，展示半透明蒙版，其中，所述蒙版具有镂空的关注区，所述关注区内展示有用于示意所述准备动作的图像；
调用摄像头，以采集所述准备图像。
本申请实施例的图像采集装置，通过在电子设备进行图像采集前，预先进入准确阶段。具体地，在准备界面，展示准备动作，并采集准备图像；识别准备图像中的人体动作；判断准备图像中的人体动作是否与准备动作匹配；在准备图像中的人体动作与准备动作匹配时，开始进行图像采集。本实施例中，通过在人体动作与准备动作匹配时，开始进行图像采集，由此可以避免用户无意触发电子设备的拍摄控件，从而导致摄像头误采集图像的情况，或者，可以避免摄像头在未对准用户的情况下就进行图像采集，从而导致录入无效的图像的情况，能够保证后续图像采集的有效性和准确性。此外，该图像采集方法可以应用于电子设备中，有效提升该方法的适用性，用于解决现有由于体感游戏应用于固定设备上，便携性较差。此外，当用户无意触发体感游戏的应用程序中的拍摄控件时，将导致摄像头 误采集图像，或者，当用户站在摄像头未对准的区域时，导致摄像头采集的图像无效，从而导致摄像头采集图像的有效性和准确性较差的技术问题。
为达上述目的，本申请第三方面实施例提出了一种电子设备，包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行本申请第一方面实施例所述的图像采集方法。
为达上述目的，本申请第四方面实施例提出了非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请第一方面实施例所述的图像采集方法。
为达上述目的，本申请第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如本申请第一方面实施例所述的图像采集方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的第一种图像采集方法的流程示意图；
图2为本申请实施例所提供的第二种图像采集方法的流程示意图；
图3为本申请实施例所提供的第三种图像采集方法的流程示意图；
图4为本申请实施例提供的一种图像采集装置的结构示意图；
图5为本申请实施例提供的另一种图像采集装置的结构示意图；
图6为本申请电子设备一个实施例的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
针对现有由于体感游戏应用于固定设备上，便携性较差。此外，当用户无意触发体感游戏的应用程序中的拍摄控件时，将导致摄像头误采集图像，或者，当用户站在摄像头未 对准的区域时，导致摄像头采集的图像无效，从而导致摄像头采集图像的有效性和准确性较差的技术问题，本申请实施例中，通过在电子设备进行图像采集前，预先进入准备阶段。具体地，在准备界面，展示准备动作，并采集准备图像；识别准备图像中的人体动作；判断准备图像中的人体动作是否与准备动作匹配；在准备图像中的人体动作与准备动作匹配时，开始进行图像采集。本实施例中，通过在人体动作与准备动作匹配时，开始进行图像采集，由此可以避免用户无意触发电子设备的拍摄控件，从而导致摄像头误采集图像的情况，或者，可以避免摄像头在未对准用户的情况下就进行图像采集，从而导致录入无效的图像的情况，能够保证后续图像采集的有效性和准确性。此外，该图像采集方法可以应用于电子设备中，有效提升该方法的适用性。
下面参考附图描述本申请实施例的图像采集方法、装置和电子设备。
图1为本申请实施例所提供的第一种图像采集方法的流程示意图。该图像采集方法可以应用于电子设备中，其中，电子设备例如为个人电脑(Personal Computer，PC)，云端设备或者移动设备，移动设备例如智能手机，或者平板电脑等。
如图1所示，该图像采集方法包括以下步骤：
步骤101，在准备界面，展示准备动作，并采集准备图像。
为了避免用户无意触发电子设备的拍摄控件，从而导致摄像头误采集图像的情况，或者，为了避免摄像头在未对准用户的情况下就进行图像采集，从而导致录入无效的图像的情况，本申请实施例中，在电子设备进行图像采集前，可以预先进入准备阶段。
具体地，可以在准备界面，展示准备动作，该准备动作可以由电子设备的内置程序预先设置，准备动作例如可以为双手平举的动作，或者为其他，对此不作限制。在展示准备动作的同时，电子设备的摄像头可以采集准备图像，其中，准备图像中包含用户做出的人体动作。
作为一种可能的实现方式，可以在准备界面的任意区域展示准备动作，该准备动作可以在预设时间段内固定不动，或者，该准备动作可以沿预设轨迹移动，对此不作限制。其中，预设轨迹可以为电子设备的内置程序预先设置的。
作为另一种可能的实现方式，为了不影响用户查看电子设备屏幕上内容的同时，用户又能观看准备动作，本实施例中，可以在准备界面，展示半透明蒙版，其中，蒙版具有镂空的关注区，关注区内展示有用于示意准备动作的图像，即在关注区展示准备动作的示意图。或者，可以在准备界面以弹幕的形式展示准备动作，对此不作限制。
步骤102，识别准备图像中的人体动作。
作为一种可能的实现方式，用于采集准备图像的摄像头可以为能够采集用户深度信息的摄像头，通过获取的深度信息，可以识别出准备图像中的人体动作。例如，该摄像头可 以为深度摄像头(Red-Green-Blue Depth，RGBD)，成像的同时可以获取准备图像中人体的深度信息，从而根据深度信息可以识别准备图像中的人体动作。此外，还可以通过结构光或者TOF镜头进行人体动作深度信息的获取，从而根据深度信息可以识别准备图像中的人体动作，对此不作限制。
作为另一种可能的实现方式，可以识别准备图像中人体的各关节，例如，可以根据人脸识别技术识别出准备图像中的人脸以及人脸的位置信息，而后根据人体解剖学中肢体与身高的比例关系，可计算得到人体各关节的位置信息。当然也可以通过其他算法确定准备图像中人体的各关节的位置信息，对此不作限制。
在识别各关节后，可以连接人体各关节相邻的两关节，得到相邻两关节之间的连线，最后根据相邻两关节之间的连线与预设参考方向之间的实际夹角，确定视频画面帧中的人体动作。其中，预设参考方向可以为水平方向或者垂直方向。
步骤103，判断准备图像中的人体动作是否与准备动作匹配。
本申请实施例中，可以根据人体动作与准备动作之间的差异程度是否大于差异阈值，判断人体动作是否与准备动作匹配。具体地，可以确定在执行准备动作时，各相邻两关节之间的连线与参考方向之间的标准角度，针对每一条相邻两关节之间的连线，比较对应的标准角度与实际角度之间的差值。当每一条相邻两关节之间的连线计算出的差值均在误差范围内时，可以确定准备图像中的人体动作与准备动作匹配，而当存在至少一条相邻两关节之间的连线计算出的差值未处于误差范围内时，可以确定准备图像中的人体动作与准备动作不匹配。
步骤104，若准备图像中的人体动作与准备动作匹配，开始进行图像采集。
可选地，在准备图像中的人体动作与准备动作匹配时，表明用户做出的人体动作与准备动作之间的差异程度较小，此时，可以开始进行图像采集。具体地，用户可以在拍摄界面预先选定音频，电子设备可以根据用户的操作播放该音频，并同时打开摄像头，采集各视频画面帧。
本实施例的图像采集方法，通过在电子设备进行图像采集前，预先进入准确阶段。具体地，在准备界面，展示准备动作，并采集准备图像；识别准备图像中的人体动作；判断准备图像中的人体动作是否与准备动作匹配；在准备图像中的人体动作与准备动作匹配时，开始进行图像采集。本实施例中，通过在人体动作与准备动作匹配时，开始进行图像采集，由此可以避免用户无意触发电子设备的拍摄控件，从而导致摄像头误采集图像的情况，或者，可以避免摄像头在未对准用户的情况下就进行图像采集，从而导致录入无效的图像的情况，能够保证后续图像采集的有效性和准确性。此外，该图像采集方法可以应用于电子设备中，有效提升该方法的适用性，用于解决现有由于体感游戏应用于固定设备上，便携 性较差。此外，当用户无意触发体感游戏的应用程序中的拍摄控件时，将导致摄像头误采集图像，或者，当用户站在摄像头未对准的区域时，导致摄像头采集的图像无效，从而导致摄像头采集图像的有效性和准确性较差的技术问题。
作为一种可能的实现方式，参见图2，在图1所示实施例的基础上，开始进行图像采集，具体包括以下步骤：
步骤201，在准备界面显示用于指示准备完毕的提示信息。
可选地，当准备图像中的人体动作与准备动作匹配时，此时，可以退出准备界面，从而进入拍摄界面。具体地，可以在准备界面显示用于指示准备完毕的提示信息，例如为：动作正确，进入拍摄环节。
步骤202，退出准备界面，并展示拍摄界面。
步骤203，在拍摄界面，开始播放预先选定的音频，并在播放音频过程中采集各视频画面帧。
本申请实施例中，拍摄界面可以包括拍摄控件，当探测到用户针对该拍摄控件的操作时，例如，当用户点击该拍摄控件时，拍摄界面可以自动展示歌曲选择界面，而后用户可以从歌曲选择界面任意选取一个音频，作为自身选定的音频。
在用户选定音频后，电子设备可以根据用户的操作对该音频进行播放，例如，当电子设备监测到用户点击该音频时，电子设备可以播放该音频，同时打开摄像头，采集各视频画面帧。
本实施例的图像采集方法，通过在准备界面显示用于指示准备完毕的提示信息，退出准备界面，并展示拍摄界面，在拍摄界面，开始播放预先选定的音频，并在播放音频过程中采集各视频画面帧。本实施例中，通过在准备界面显示用于指示准备完毕的提示信息，退出准备界面，并展示拍摄界面，由此可以避免用户无意触发电子设备的拍摄控件，从而导致摄像头误采集图像的情况，或者，可以避免摄像头在未对准用户的情况下就进行图像采集，从而导致录入无效的图像的情况，能够保证在拍摄界面采集各视频画面帧的有效性和准确性。
作为一种可能的实现方式，参见图3，在图2所示实施例的基础上，在步骤203后，该图像采集方法还可以包括以下步骤：
步骤301，在音频播放至每一个时间节点时，展示对应的标准动作。
具体地，在音频播放至每一个时间节点时，可以在拍摄界面展示该时间节点对应的标准动作。
作为一种可能的实现方式，可以在拍摄界面的任意区域展示标准动作的示意图，该标准动作的示意图可以是固定不动的，或者，该标准动作的示意图可以沿预设轨迹移动，对 此不作限制。其中，预设轨迹可以为电子设备的内置程序预先设置的。
作为另一种可能的实现方式，为了不影响用户查看电子设备屏幕上内容的同时，用户又能观看标准动作，本实施例中，可以在拍摄界面，展示半透明蒙版，其中，蒙版具有镂空的关注区，关注区内展示有用于示意标准动作的图像，即在关注区内展示标准动作的示意图。或者，可以在拍摄界面以弹幕的形式展示对应的标准动作，对此不作限制。
当标准动作的示意图沿预设轨迹移动时，在拍摄界面展示标准动作的示意图的同时，可以控制该标准动作的示意图沿预设轨迹移动。
步骤302，识别与时间节点同步采集的视频画面帧中的人体动作。
作为一种可能的实现方式，用于采集视频画面帧的摄像头可以为能够采集用户深度信息的摄像头，通过获取的深度信息，可以识别出视频画面帧中的人体动作。例如，该摄像头可以为深度摄像头，成像的同时可以获取视频画面帧中人体的深度信息，从而根据深度信息可以识别视频画面帧中的人体动作。此外，还可以通过结构光或者TOF镜头进行人体动作深度信息的获取，从而根据深度信息可以识别视频画面帧中的人体动作，对此不作限制。
作为另一种可能的实现方式，可以识别标准图像中人体的各关节，而后连接人体各关节相邻的两关节，得到相邻两关节之间的连线，最后根据相邻两关节之间的连线与预设参考方向之间的实际夹角，确定视频画面帧中的人体动作。
步骤303，根据同一时间节点的标准动作与人体动作之间的差异程度，生成人体动作的动作评价信息。
本申请实施例中，人体动作的评价信息包括人体动作分值，用于指示人体动作与对应的标准动作之间的差异程度，具体地，人体动作分值越高，表明人体动作与对应的标准动作之间的差异程度越小，而人体动作分值越低，表明人体动作与对应的标准动作之间的差异程度越大。
具体地，当视频画面帧中的人体动作与标准动作不匹配时，可以将用户做出的人体动作得到的评分置0，而当视频画面帧中的人体动与标准动作匹配时，可以针对每一条相邻两关节之间的连线，根据对应的差值和误差范围，确定连线的评分系数，例如，标记误差范围为[a，b]，误差为Δ，可以根据公式p＝1-[2Δ/(a-b)]，计算得到连线的评分系数p，或者可以根据其他算法计算连线的评分系数，对此不作限制。当得到连线的评分系数后，可以根据连线的评分系数和连线对应的分值，生成连线的评价信息，例如，连线的评价信息可以等于该连线的评分系数乘以连线对应的分值。最后，可以通过将各条相邻两关节之间的连线的评价信息相加，得到人体动作的评价信息。
进一步地，人体动作的动作评价信息还可以包括人体动作分值所属区间对应的动画效 果。例如，当人体动作分值满分为100时，若人体动作分值所属的区间[90,100]，动画效果可以为“完美或perfect”并搭配钻石闪烁，所属的区间[80，90)，动画效果可以为“很好或good”并搭配鲜花闪烁。
举例而言，根据时间节点A的标准动作与人体动作之间的差异程度，生成的人体动作分值为94分，在拍摄界面生成的动画效果为“perfect”并搭配钻石闪烁。由此，可以使得用户及时了解自己做出的人体动作是否标准，从而提升了用户的代入感。
步骤304，根据音频、各视频画面帧和各人体动作的动作评价信息，生成目标视频。
本申请实施例中，当拍摄界面的音频播放结束时，可以获取不同时间节点对应的人体动作的评价信息，而后根据该音频、获取的各视频画面帧和对应的人体动作的动作评价信息，生成目标视频。
具体地，当拍摄界面展示音频的最后一个时间节点对应的标准动作时，摄像头在该标准动作的展示过程中采集视频画面帧，而后电子设备中的应用程序根据最后一个时间节点的标准动作与人体动作之间的差异程度，生成人体动作的动作评价信息。当拍摄界面的音频播放结束时，可以获取各个时间节点对应的人体动作的评价信息，而后根据该音频、获取的各视频画面帧和对应的人体动作的动作评价信息，生成目标视频。
本实施例的图像采集方法，在展示标准动作时，采集人体动作的视频画面帧,可以通过识别人体视频画面帧中人体相邻关节，得到相邻关节的连线，计算相邻关节的连线和预设参考方向之间的实际夹角，并根据该实际夹角与标准角度之间的差值，确定人体动作是否与标准动作匹配，由此可以实现人体动作的精准识别。此外，通过生成人体动作的动作评价信息，该评价信息可以指示人体动作与标准动作之间的差异程度，最后生成视频后，可以使得用户在回放时了解并纠正人体动作，从而在下次录视频时，可以提升人体动作的标准性。
为了实现上述实施例，本申请还提出一种图像采集装置。
图4为本申请实施例提供的一种图像采集装置的结构示意图。
如图4所示，该图像采集装置400包括：展示模块410、识别模块420、判断模块430，以及采集模块440。其中，
展示模块410，用于在准备界面，展示准备动作，并采集准备图像。
作为一种可能的实现方式，展示模块410，具体用于在准备界面，展示半透明蒙版，其中，蒙版具有镂空的关注区，关注区内展示有用于示意准备动作的图像；调用摄像头，以采集准备图像。
识别模块420，用于识别准备图像中的人体动作。
判断模块430，用于判断准备图像中的人体动作是否与准备动作匹配。
采集模块440，用于在准备图像中的人体动作与准备动作匹配时，开始进行图像采集。
本申请实施例中，采集模块440，具体用于在准备界面显示用于指示准备完毕的提示信息；退出准备界面，并展示拍摄界面；在拍摄界面，开始播放预先选定的音频，并在播放音频过程中采集各视频画面帧。
可选地，采集模块440，还用于在准备图像中的人体动作与准备动作不匹配时，重新采集准备图像。
进一步地，作为本申请实施例的一种可能的实现方式，参见图5，在图4所示实施例的基础上，该图像采集装置400还可以包括：
展示生成模块450，用于在拍摄界面，开始播放预先选定的音频，并在播放音频过程中采集各视频画面帧之后，在音频播放至每一个时间节点时，展示对应的标准动作，并识别与时间节点同步采集的视频画面帧中的人体动作；根据同一时间节点的标准动作与人体动作之间的差异程度，生成人体动作的动作评价信息；根据音频、各视频画面帧和各人体动作的动作评价信息，生成目标视频。
作为一种可能的实现方式，识别模块420，具体用于识别准备图像中人体的各关节；连接人体各关节中相邻的两关节，得到相邻两关节之间的连线；根据相邻两关节之间的连线与预设参考方向之间的实际夹角，确定人体动作。
作为一种可能的实现方式，判断模块430，具体用于确定在执行准备动作时，各相邻两关节之间的连线与参考方向之间的标准角度；针对每一条相邻两关节之间的连线，比较对应的标准角度与实际角度之间的差值；若每一条相邻两关节之间的连线计算出的差值均在误差范围内，确定准备图像中的人体动作是否与准备动作匹配；若存在至少一条相邻两关节之间的连线计算出的差值未处于误差范围内，确定准备图像中的人体动作与准备动作不匹配。
需要说明的是，前述对图像采集方法实施例的解释说明也适用于该实施例的图像采集装置400，此处不再赘述。
本实施例的图像采集装置，通过在电子设备进行图像采集前，预先进入准确阶段。具体地，在准备界面，展示准备动作，并采集准备图像；识别准备图像中的人体动作；判断准备图像中的人体动作是否与准备动作匹配；在准备图像中的人体动作与准备动作匹配时，开始进行图像采集。本实施例中，通过在人体动作与准备动作匹配时，开始进行图像采集，由此可以避免用户无意触发电子设备的拍摄控件，从而导致摄像头误采集图像的情况，或者，可以避免摄像头在未对准用户的情况下就进行图像采集，从而导致录入无效的图像的情况，能够保证后续图像采集的有效性和准确性。此外，该图像采集方法可以应用于电子设备中，有效提升该方法的适用性，用于解决现有由于体感游戏应用于固定设备上，便携 性较差。此外，当用户无意触发体感游戏的应用程序中的拍摄控件时，将导致摄像头误采集图像，或者，当用户站在摄像头未对准的区域时，导致摄像头采集的图像无效，从而导致摄像头采集图像的有效性和准确性较差的技术问题。
本申请实施例还提供一种电子设备，电子设备包含前述任一实施例所述的装置。
图6为本申请电子设备一个实施例的结构示意图，可以实现本申请图1-5所示实施例的流程，如图6所示，上述电子设备可以包括：壳体61、处理器62、存储器63、电路板64和电源电路65，其中，电路板64安置在壳体61围成的空间内部，处理器62和存储器63设置在电路板64上；电源电路65，用于为上述电子设备的各个电路或器件供电；存储器63用于存储可执行程序代码；处理器62通过读取存储器63中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施例所述的图像采集方法。
处理器62对上述步骤的具体执行过程以及处理器62通过运行可执行程序代码来进一步执行的步骤，可以参见本申请图1-5所示实施例的描述，在此不再赘述。
该电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如前述实施例所述的图像采集方法。
为了实现上述实施例，本申请还提出一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如前述实施例所述的图像采集方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机 存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (17)

  1. 一种图像采集方法，其特征在于，包括以下步骤：
    在准备界面，展示准备动作，并采集准备图像；
    识别所述准备图像中的人体动作；
    判断所述准备图像中的人体动作是否与所述准备动作匹配；
    若所述准备图像中的人体动作与所述准备动作匹配，开始进行图像采集。
  2. 根据权利要求1所述的图像采集方法，其特征在于，所述方法还包括：
    若所述准备图像中的人体动作与所述准备动作不匹配，重新采集准备图像。
  3. 根据权利与要求1或2所述的图像采集方法，其特征在于，所述开始进行图像采集，包括：
    在所述准备界面显示用于指示准备完毕的提示信息；
    退出所述准备界面，并展示拍摄界面；
    在所述拍摄界面，开始播放预先选定的音频，并在播放所述音频过程中采集各视频画面帧。
  4. 根据权利要求3所述的图像采集方法，其特征在于，所述在所述拍摄界面，开始播放预先选定的音频，并在播放所述音频过程中采集各视频画面帧之后，还包括：
    在所述音频播放至每一个时间节点时，展示对应的标准动作，并识别与所述时间节点同步采集的视频画面帧中的人体动作；
    根据同一时间节点的所述标准动作与所述人体动作之间的差异程度，生成所述人体动作的动作评价信息；
    根据所述音频、各视频画面帧和各人体动作的动作评价信息，生成目标视频。
  5. 根据权利要求1-4任一项所述的图像采集方法，其特征在于，所述识别所述准备图像中的人体动作，包括：
    识别所述准备图像中人体的各关节；
    连接人体各关节中相邻的两关节，得到相邻两关节之间的连线；
    根据相邻两关节之间的连线与预设参考方向之间的实际夹角，确定人体动作。
  6. 根据权利要求1-5任一项所述的图像采集方法，其特征在于，所述判断所述准备图像中的人体动作是否与所述准备动作匹配，包括：
    确定在执行所述准备动作时，各相邻两关节之间的连线与所述参考方向之间的标准角度；
    针对每一条相邻两关节之间的连线，比较对应的所述标准角度与所述实际角度之间的 差值；
    若每一条相邻两关节之间的连线计算出的差值均在误差范围内，确定所述准备图像中的人体动作是否与所述准备动作匹配；
    若存在至少一条相邻两关节之间的连线计算出的差值未处于误差范围内，确定所述准备图像中的人体动作与所述准备动作不匹配。
  7. 根据权利要求1-6任一项所述的图像采集方法，其特征在于，所述在准备界面，展示准备动作，并采集准备图像，包括：
    在所述准备界面，展示半透明蒙版，其中，所述蒙版具有镂空的关注区，所述关注区内展示有用于示意所述准备动作的图像；
    调用摄像头，以采集所述准备图像。
  8. 一种图像采集装置，其特征在于，所述装置包括：
    展示模块，用于在准备界面，展示准备动作，并采集准备图像；
    识别模块，用于识别所述准备图像中的人体动作；
    判断模块，用于判断所述准备图像中的人体动作是否与所述准备动作匹配；
    采集模块，用于在所述准备图像中的人体动作与所述准备动作匹配时，开始进行图像采集。
  9. 根据权利要求8所述的图像采集装置，其特征在于，所述采集模块，还用于：
    在所述准备图像中的人体动作与所述准备动作不匹配时，重新采集准备图像。
  10. 根据权利与要求8或9所述的图像采集装置，其特征在于，所述采集模块，具体用于：
    在所述准备界面显示用于指示准备完毕的提示信息；
    退出所述准备界面，并展示拍摄界面；
    在所述拍摄界面，开始播放预先选定的音频，并在播放所述音频过程中采集各视频画面帧。
  11. 根据权利要求10所述的图像采集装置，其特征在于，所述装置还包括：
    展示生成模块，用于在所述拍摄界面，开始播放预先选定的音频，并在播放所述音频过程中采集各视频画面帧之后，在所述音频播放至每一个时间节点时，展示对应的标准动作，并识别与所述时间节点同步采集的视频画面帧中的人体动作；根据同一时间节点的所述标准动作与所述人体动作之间的差异程度，生成所述人体动作的动作评价信息；根据所述音频、各视频画面帧和各人体动作的动作评价信息，生成目标视频。
  12. 根据权利要求8-11任一项所述的图像采集装置，其特征在于，所述识别模块，具体用于：
    识别所述准备图像中人体的各关节；
    连接人体各关节中相邻的两关节，得到相邻两关节之间的连线；
    根据相邻两关节之间的连线与预设参考方向之间的实际夹角，确定人体动作。
  13. 根据权利要求8-12任一项所述的图像采集装置，其特征在于，所述判断模块，具体用于：
    确定在执行所述准备动作时，各相邻两关节之间的连线与所述参考方向之间的标准角度；
    针对每一条相邻两关节之间的连线，比较对应的所述标准角度与所述实际角度之间的差值；
    若每一条相邻两关节之间的连线计算出的差值均在误差范围内，确定所述准备图像中的人体动作是否与所述准备动作匹配；
    若存在至少一条相邻两关节之间的连线计算出的差值未处于误差范围内，确定所述准备图像中的人体动作与所述准备动作不匹配。
  14. 根据权利要求8-13任一项所述的图像采集装置，其特征在于，所述展示模块，具体用于：
    在所述准备界面，展示半透明蒙版，其中，所述蒙版具有镂空的关注区，所述关注区内展示有用于示意所述准备动作的图像；
    调用摄像头，以采集所述准备图像。
  15. 一种电子设备，其特征在于，包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行权利要求1-7任一项所述的图像采集方法。
  16. 一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的图像采集方法。
  17. 一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，执行如权利要求1-7任一项所述的图像采集方法。
PCT/CN2018/098601 2017-11-23 2018-08-03 图像采集方法、装置和电子设备 WO2019100756A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711182910.6 2017-11-23
CN201711182910.6A CN107920203A (zh) 2017-11-23 2017-11-23 图像采集方法、装置和电子设备

Publications (1)

Publication Number Publication Date
WO2019100756A1 true WO2019100756A1 (zh) 2019-05-31

Family

ID=61897596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/098601 WO2019100756A1 (zh) 2017-11-23 2018-08-03 图像采集方法、装置和电子设备

Country Status (2)

Country Link
CN (1) CN107920203A (zh)
WO (1) WO2019100756A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071062A (zh) * 2021-11-11 2022-02-18 华能招标有限公司 远程评标视频会议过程中的视频录制方法及装置
CN114173158A (zh) * 2021-11-29 2022-03-11 北京百度网讯科技有限公司 人脸识别方法、云端设备、客户端设备、电子设备及介质
CN114265534A (zh) * 2020-09-16 2022-04-01 北京小米移动软件有限公司 锁屏界面的显示方法及装置、电子设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920203A (zh) * 2017-11-23 2018-04-17 乐蜜有限公司 图像采集方法、装置和电子设备
CN109195002A (zh) * 2018-08-06 2019-01-11 光锐恒宇（北京）科技有限公司 视频的生成方法、装置、智能终端和计算机可读存储介质
CN111260678A (zh) * 2018-11-30 2020-06-09 百度在线网络技术（北京）有限公司 体操辅助学习的方法、装置、存储介质和终端设备
CN110139115B (zh) * 2019-04-30 2020-06-09 广州虎牙信息科技有限公司 基于关键点的虚拟形象姿态控制方法、装置及电子设备
CN111954052B (zh) * 2019-05-17 2022-04-05 上海哔哩哔哩科技有限公司 显示弹幕信息的方法、计算机设备及可读存储介质
CN110336940A (zh) * 2019-06-21 2019-10-15 深圳市茄子咔咔娱乐影像科技有限公司 一种基于双摄像头拍摄合成特效的方法和系统
CN110572686B (zh) * 2019-08-05 2022-05-10 广州方硅信息技术有限公司 交互方法、直播系统、电子设备及存储装置
CN113726465B (zh) * 2020-05-26 2022-12-27 华为技术有限公司 时间戳同步方法和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022208A (zh) * 2016-04-29 2016-10-12 北京天宇朗通通信设备股份有限公司 人体动作识别方法及装置
CN106125909A (zh) * 2016-06-14 2016-11-16 上海锡月科技有限公司 一种用于训练的动作捕捉系统
US9690981B2 (en) * 2015-02-05 2017-06-27 Electronics And Telecommunications Research Institute System and method for motion evaluation
CN106951077A (zh) * 2017-03-16 2017-07-14 联想(北京)有限公司 一种提示方法及第一电子设备
CN107920203A (zh) * 2017-11-23 2018-04-17 乐蜜有限公司 图像采集方法、装置和电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201349264Y (zh) * 2008-12-30 2009-11-18 深圳市同洲电子股份有限公司 一种运动图像处理装置和系统
TW201028886A (en) * 2009-01-22 2010-08-01 Asustek Comp Inc Method and system for identifying 3D motion
CN102622509A (zh) * 2012-01-21 2012-08-01 天津大学 基于单目视频的三维游戏交互系统
CN103576840A (zh) * 2012-07-24 2014-02-12 上海辰戌信息科技有限公司 基于立体视觉的手势体感控制系统
CN103076884B (zh) * 2013-02-07 2015-03-25 泽普互动（天津）科技有限公司 用于动作识别的数据采集方法和装置以及动作识别系统
CN103336953B (zh) * 2013-07-05 2016-06-01 深圳市中视典数字科技有限公司 一种基于体感设备动作评判的方法
CN103558911A (zh) * 2013-10-24 2014-02-05 广东欧珀移动通信有限公司 一种移动终端静音的实现方法及实现系统
CN104065807A (zh) * 2013-11-22 2014-09-24 苏州天鸣信息科技有限公司 一种防误判的影像控制装置
CN104881122B (zh) * 2015-05-29 2018-10-09 深圳奥比中光科技有限公司 一种体感交互系统激活方法、体感交互方法及系统
CN105307017A (zh) * 2015-11-03 2016-02-03 Tcl集团股份有限公司 智能电视用户的姿势矫正方法及装置
CN105975054A (zh) * 2015-11-23 2016-09-28 乐视网信息技术（北京）股份有限公司 一种信息处理方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9690981B2 (en) * 2015-02-05 2017-06-27 Electronics And Telecommunications Research Institute System and method for motion evaluation
CN106022208A (zh) * 2016-04-29 2016-10-12 北京天宇朗通通信设备股份有限公司 人体动作识别方法及装置
CN106125909A (zh) * 2016-06-14 2016-11-16 上海锡月科技有限公司 一种用于训练的动作捕捉系统
CN106951077A (zh) * 2017-03-16 2017-07-14 联想(北京)有限公司 一种提示方法及第一电子设备
CN107920203A (zh) * 2017-11-23 2018-04-17 乐蜜有限公司 图像采集方法、装置和电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114265534A (zh) * 2020-09-16 2022-04-01 北京小米移动软件有限公司 锁屏界面的显示方法及装置、电子设备及存储介质
CN114071062A (zh) * 2021-11-11 2022-02-18 华能招标有限公司 远程评标视频会议过程中的视频录制方法及装置
CN114071062B (zh) * 2021-11-11 2023-06-09 华能招标有限公司 远程评标视频会议过程中的视频录制方法及装置
CN114173158A (zh) * 2021-11-29 2022-03-11 北京百度网讯科技有限公司 人脸识别方法、云端设备、客户端设备、电子设备及介质
CN114173158B (zh) * 2021-11-29 2024-06-11 北京百度网讯科技有限公司 人脸识别方法、云端设备、客户端设备、电子设备及介质

Also Published As

Publication number Publication date
CN107920203A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
WO2019100756A1 (zh) 图像采集方法、装置和电子设备
WO2019100757A1 (zh) 视频生成方法、装置和电子设备
WO2019100755A1 (zh) 视频生成方法、装置和电子设备
WO2019100753A1 (zh) 视频生成方法、装置和电子设备
WO2019100754A1 (zh) 人体动作的识别方法、装置和电子设备
CN107096221B (zh) 用于提供时移智能同步游戏视频的系统和方法
TW202105331A (zh) 一種人體關鍵點檢測方法及裝置、電子設備和電腦可讀儲存介質
EP2624217A1 (en) Information presentation device, digital camera, head mount display, projector, information presentation method, and information presentation program
US20100222144A1 (en) Image-linked sound output method and device
US20170370682A1 (en) Server and Dart Game Device for Providing Dart Game in Accordance with Hitting Area on Basis of Location of Dart Pin, and Computer Program
EP3089441B1 (en) Information processing device, recording medium, and information processing method
US10245505B2 (en) Generating custom recordings of skeletal animations
KR20170078176A (ko) 동작 인식 기반의 게임을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
CN107566751A (zh) 图像处理方法、装置、电子设备及介质
KR102466526B1 (ko) 경기 영상에 대한 이벤트의 태깅을 위한 전자 장치 및 그의 동작 방법
US8497902B2 (en) System for locating a display device using a camera on a portable device and a sensor on a gaming console and method thereof
JP2020119334A (ja) プログラム、電子機器およびデータ記録方法
CN113743237A (zh) 跟随动作的准确度判定方法、装置、电子设备及存储介质
JP2010137097A (ja) ゲーム装置および情報記憶媒体
KR101962916B1 (ko) 골프 스윙 자세 확인 및 교정 시스템
US10140766B2 (en) Apparatus and method of augmenting video
KR102297582B1 (ko) 게임 서비스를 제공하는 게임 장치, 전자 장치
JP4824409B2 (ja) 情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法
CN112764523A (zh) 一种基于虹膜识别的人机交互方法、装置及电子设备
US10946242B2 (en) Swing analysis device, swing analysis method, and swing analysis system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18880108

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18880108

Country of ref document: EP

Kind code of ref document: A1