WO2015027953A1 - Method, apparatus and terminal device for dynamic image processing - Google Patents

Method, apparatus and terminal device for dynamic image processing Download PDF

Info

Publication number
WO2015027953A1
WO2015027953A1 PCT/CN2014/085669 CN2014085669W WO2015027953A1 WO 2015027953 A1 WO2015027953 A1 WO 2015027953A1 CN 2014085669 W CN2014085669 W CN 2014085669W WO 2015027953 A1 WO2015027953 A1 WO 2015027953A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving subject
subject
image
pixel
moving
Prior art date
Application number
PCT/CN2014/085669
Other languages
French (fr)
Inventor
Zhihao Zheng
Feiyue HUANG
Yongjian Wu
Junhong HUANG
Hao Wu
Yu Fan
Original Assignee
Tencent Technology (Shenzhen) Company Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201310392689.2 priority Critical
Priority to CN201310392689.2A priority patent/CN103473799B/en
Application filed by Tencent Technology (Shenzhen) Company Limited filed Critical Tencent Technology (Shenzhen) Company Limited
Publication of WO2015027953A1 publication Critical patent/WO2015027953A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites

Abstract

A dynamic image processing method is provided for a dynamic image processing apparatus. The method includes: identifying a moving subject in the target image and a subject type of the moving subject and determining initial position information of each pixel of the moving subject in the target image, calculating intermediate position information of each pixel of the moving subject at each time point in the target image according to a selected motion model matching with the moving subject and the initial position information of each pixel of the moving subject, processing corresponding pixels of the moving subject according to the intermediate position information to obtain an image frame at each time point, and generating an animated image based on the image frames at each time point.

Description

METHOD, APPARATUS AND TERMINAL DEVICE FOR DYNAMIC IMAGE PROCESSING

CROSS-REFERENCES TO RELATED APPLICATIONS

This application claims priority of Chinese Patent Application No. 201310392689.2, filed on September 2, 2013, the entire contents of which are incorporated by reference herein.

FIELD OF THE INVENTION

The present invention generally relates to the image processing technology field and, more particularly, to a dynamic image processing method, apparatus and terminal device.

BACKGROUND

Image processing includes various operations such as modifying color, synthesis, saturation and hue of the image, adding animation effect, etc. GIF (Graphics Interchange Format) is an image file format, and multiple pictures or images can be stored in one GIF file. When multiple images stored in a GIF file are read out sequentially, image by image, and displayed on a monitor, it creates a simplest form of animation, or a dynamic image. Since GIF files can be displayed without relying on any application programs, the GIF files are widely used.

However, for such dynamic image, represented by the GIF format, the creation of a single dynamic image often requires to continuously capture multiple images or even requires to record a video, causing relatively high production requirements. The disclosed methods and apparatuses are directed to solve one or more problems set forth above and other problems.

BRIEF SUMMARY OF THE DISCLOSURE

The embodiments of the present invention provide a dynamic image processing method, apparatus and terminal device to achieve the animation effect through the processing of one image.

One aspect of the present invention provides a dynamic image processing method, the method includes identifying a moving subject in a target image and a subject type of the moving subject and determining initial position information of each pixel of the moving subject in the target image, calculating intermediate position information of each pixel of the moving subject at each time point in the target image according to a selected motion model matching the moving subject and the initial position information of each pixel of the moving subject, processing corresponding pixels of the moving subject according to the intermediate position information to obtain an image frame at each time point, and generating an animated image based on the image frames at each time point.

Another aspect of the present invention provides a dynamic image processing apparatus, the apparatus includes an identifying module, a calculating module and a generating  module. The identifying module is configured to identify a moving subject in a target image and a subject type of the moving subject and to determine initial position information of each pixel of the moving subject in the target image. The calculating module is configured to calculate intermediate position information of each pixel of the moving subject at each time point in the target image according to a selected motion model matching with the moving subject and the initial position information of each pixel of the moving subject. The generating module is configured to process corresponding pixels of the moving subject according to the intermediate position information to obtain an image frame at each time point and to generate an animated image based on the image frames at each time point.

Other aspects of the present disclosure can be understood by those skilled in the art in light of the description, the claims, and the drawings of the present disclosure.

BRIEF DESCRIPTION OF THE DRAWINGS

Figure 1 illustrates a flow chart of a dynamic image processing method according to disclosed embodiments of the present invention;

Figure 2 illustrates a flow chart of another dynamic image processing method according to disclosed embodiments of the present invention;

Figure 3 illustrates a flow chart of another dynamic image processing method according to disclosed embodiments of the present invention;

Figure 4 illustrates a flow chart of a calculating method for an intermediate position information according to disclosed embodiments of the present invention;

Figure 5 illustrates a schematic diagram of a dynamic image processing apparatus according to disclosed embodiments of the present invention;

Figure 6 illustrates a schematic diagram of another dynamic image processing apparatus according to disclosed embodiments of the present invention;

Figure 7 illustrates a schematic block diagram of a terminal device according to disclosed embodiments of the present invention; and

Figure 8 illustrates a block diagram of an exemplary dynamic image processing electronic device according to disclosed embodiments of the present invention

DETAILED DESCRIPTION

The followings, together with accompanying drawings of the disclosed embodiments of the present invention, describe in detail the embodiments of the present invention. Obviously, the disclosed embodiments are illustrative only. Based on the disclosed embodiments, all other embodiments obtained by those ordinary skills in the art without creative efforts are within the protection scope of the present invention.

The disclosed embodiments of the present invention provide a dynamic image processing method for electronic devices. Certain terms are used to describe various embodiments.

GIF image: an image file in GIF data format, which is a continuous tone and lossless compression format based on LZW algorithm. The compression ratio is generally around 50% and it does not belong to any particular application program. Another feature of GIF format is that multiple color images can be stored in one GIF file. When the multiple image frames stored in one GIF file are read out and displayed frame by frame, a simple animation can be generated.

Local dynamic image: an image which has some areas shown with a few seconds of dynamic display effect, and other parts of the image remain unchanged or keep still. The electronic devices in the various embodiments may include mobile terminals with data processing capability, such as smart phones, and tablet computers, etc. Figure 8 shows a block diagram of an exemplary electronic device 800.

As shown in Figure 8, electronic device 800 may include a processor 802, a storage medium 804, a monitor 806, a communication module 808, a database 810, and peripherals 812. Certain devices may be omitted and other devices may be included.

Processor 802 may include any appropriate processor or processors. Further, processor 802 can include multiple cores for multi-thread or parallel processing. Storage medium 504 may include memory modules, such as ROM, RAM, flash memory modules, and erasable and rewritable memory, and mass storages, such as CD-ROM, U-disk, and hard disk, etc. Storage medium 804 may store computer programs for implementing various processes, when executed by processor 802.

Further, peripherals 812 may include I/O devices such as keyboard and mouse, and communication module 808 may include network devices for establishing connections through the communication network, such as antenna units and RF circuitry for wireless networks and other wired or wireless network devices. Database 810 may include one or more databases for storing certain data and for performing certain operations on the stored data, such as database searching.

In operation, electronic device 800 may process and create a dynamic image as requested by a user of the electronic device 800. Figure 1 illustrates a flow chart of a dynamic image processing method according to disclosed embodiments of the present invention. The disclosed method may be applied in a smart terminal such as a smart phone, a tablet computer, a personal computer, an intelligent wearable device, etc. , for dynamic image processing. Specifically, as shown in Figure 1, the method includes the following steps.

At the beginning, in S101, a moving subject in a target image and a type of the moving subject are identified, and an initial position of each pixel of the moving subject in the target image is determined.

The target image may be an image captured by a user, may also be an image downloaded by the user from the network. The moving subject in the image may be an object which may move in the target image, such as a leaf, a cloud, a vehicle, a ship, a person, an animal, etc. , in the image. The terminal may determine automatically one or multiple moving subjects based on a shape feature or based on color and texture segmenting technology. For example, based on the shape feature of a vehicle, the terminal may determine one or multiple vehicles in the image. Or based on a selection of the user through circling a border Marquee, the terminal may determine one or multiple moving subjects.

After the moving subject is identified, the terminal determines the type of the moving subject based on the shape feature of the moving subject determined automatically by the system or selected by the user through the border marquee. After objects in the image are identified, the shape features describing the shapes of the subjects may be used as basis to distinguish different objects. The shape feature of the moving subject may be represented by a contour feature or by an area feature. Through built-in boundary feature algorithms, or Fourier shape description algorithm, etc. , the shape feature of the moving subject can be extracted. Then according to preset mapping relationships between shape features and subject types, the subject type of each moving subject may be determined. For example, based on a square contour and two or more fan-shaped features at the bottom, it may be determined that the corresponding subject type of these shape features is a bus, which is a type of vehicle.

The subject type is used to represent the kind of object the moving subject is. For example, the subject type may include leaf, cloud, vehicle, ship, people, animals, etc. In the disclosed embodiments, different subject types may have different motion patterns. In other words, for each subject type, there is a corresponding motion model.

After the moving subject in the target image is determined, pixel coordinates of the moving subject may be determined according to pixel position arrangements. For example, using the upper left corner of the image as a coordinate origin (0, 0) , a horizontal pixel number and a vertical pixel number of each pixel of the moving subject in the image are determined as the position coordinate of the pixel. Or the coordinate of each pixel of the moving subject may be determined according to a width and height of the image to represent the pixel′s position in the image.

In S102, according to a selected motion model matching the type of the moving subject and an initial position of each pixel of the moving subject, intermediate position information of each pixel of the moving subject in the target image at each time point is calculated.

Using a different motion model for each subject type may make the animation much richer. And for different subject types, the types of movements are different. For example, a cloud  may only make a horizontal left and right move, a vehicle may make a ″S” -shaped move, a leaf may make a semi-circle move, and a ship may make an undulating move along waves.

Therefore, motion models with different motion functions can be configured for different subject types, each motion model includes a function of initial position, moving position, and moving time, which may be represented or described p1=d (p0, t) , where p0 refers to an initial coordinate of a pixel of the moving subject, t is a time parameter, which describes a time period spent for the moving subject to complete a movement, p1 refers to a coordinate of the pixel after the movement.

For example, for the undulating movement of the ship, the motion model may be described by a sine function, i. e. y=sin (t) . According to the sine function, a spatial location sequence of the ship in time sequence may be obtained. Based on the time t, the ship′s initial position in the image p0 and through the sine function, the intermediate position information at different times relative to the initial position in the time sequence may be obtained. Thus, based on the motion model, a position of the subject at a certain time in the image during the movement may be obtained.

Based on the motion model with its respective motion function, each intermediate position of each pixel in the image during the movement of the pixel from the initial position to the final position after the time t may be calculated. Specifically, at each time point, the intermediate position information may be obtained and the intermediate position information includes the intermediate position of each pixel at this time point.

In S103, based on the intermediate position information, the corresponding pixels of the moving subject are processed to obtain an image frame at each time point, and based on the image frame at each time point, an animated image is generated.

Specifically, in S103, through pixel redrawing, the corresponding pixels are redrawn at each corresponding intermediate position. Each redrawing of the corresponding pixels causes a movement of a corresponding area of the moving subject. Therefore, a background may also be estimated. And according to a background estimate result, a background inpainting process is performed after the movement of the moving subject in the target image to fill or refill the background. ()

Thus, an image frame may be obtained based on the intermediate position at each time point. And the image frames obtained based on all the intermediate positions may compose an animated image or a local dynamic image. Specifically, using existing GIF format, the image frames obtained at each time point through the above steps are processed to generate the animated image.

It should be noted that the terminal does not perform the moving process for the pixels of other content in the target image (the other content includes all the elements excluding the determined moving subject in the image) . The terminal only redraws the pixels of the other content  according to their original position coordinates in the corresponding image frame at each time point. And when the corresponding image frame at each time point is generated, the pixels of the other content are first redrawn, and then the corresponding pixels of the moving subject are redrawn in the intermediate position information calculated in S102. Thus, the other content is covered and a clear image frame is obtained and displayed.

Thus, according to the disclosed embodiments, the terminal may identify the moving subject in the image, calculate the coordinates based on the motion model, and may generate multiple image frames to make the moving subject move. Dynamic image display can be quickly achieved in one image, and it is easy for the user to operate.

Figure 2 illustrates a flow chart of another dynamic image processing method according to disclosed embodiments. The method may be applied in a smart terminal such as smart phone, tablet computer, personal computer and intelligent wearable device, etc. , for dynamic image processing. Specifically, as shown in Figure 2, the dynamic image processing method may include the following steps.

At the beginning, in S201, a moving subject selected by a user in a target image is determined. The user may use a Marquee or depicting lines to select from the target image the to-be-moved subjects, such as vehicles, clouds and leaves, etc. The user may select one of the subjects, or select multiple subjects to be processed in following steps S202 to S205.

In S202, according to a shape feature of the selected moving subject, a subject type of the moving subject is determined. Specifically, a statistical study may be performed on the shapes of those subjects, such as vehicles, clouds and leaves, etc. , to determine the corresponding shape features. Still in S202, based on a comparison between the shape feature and each moving subject selected by the user, the subject type of each moving subject selected by the user is determined, wherein the subject type may include the type of vehicle, cloud and leaf, etc. Steps S201 to S202 correspond to step S101 described above in the disclosed embodiments as shown in Figure 1.

In S203, according to the selected motion model matching with the subject type and an initial position of each pixel of the moving subject, intermediate position information of each pixel of the moving subject at each time point in the target image is calculated.

In S204, according to each intermediate position, the corresponding pixels of the moving subject are processed to obtain an image frame at each time point, and based on the image frame at each time point, an animated image is generated. The implementation of S203 and S204 may refer to the corresponding descriptions of S102 and S103 in the disclosed embodiments as shown in Figure 1.

In S205, the image frames at each time point are read out frame by frame from the animated image to display the animated image. That is, after the animated image is generated, the  terminal may read out the image frames at each time point from the animated image frame by frame in time sequence to display the corresponding animation to the user.

Thus, according to the disclosed embodiments, the moving subject in the image may be determined and identified according to the user’s selection, the coordinates can be calculated based on the motion model to generate multiple frames to make the moving subject move. The dynamic image display in one image may be quickly achieved, and it is easy for the user to operate.

Figure 3 illustrates a flow chart of another dynamic image processing method according to disclosed embodiments of the present invention. The method may be applied in smart terminals such as smart phones, tablet computers, personal computers and intelligent wearable devices, etc. , for dynamic image processing. Specifically, as shown in Figure 3, the dynamic image processing method may include the following steps.

S301, based on a color and/or texture of a target image, determining at least one initial moving subject in the target image.

S302, according to a user′s calibration operation on the at least one initial moving subject, determining at least one moving subject.

Based on the color and/or texture factors, etc. , of each area in the image, the terminal may roughly estimate one or more target subjects, i. e. , the initial moving subject, and displays a corresponding Marquee border. The user may perform the calibration operation through manual modification with the use of a mouse or keyboard, etc. , and eventually determines at least one moving subject.

S303, according to a shape feature of the determined at least one moving subject, determining a subject type of the moving subject.

Specifically, a statistical calculation may be performed on the shapes of the subjects such as vehicles, clouds and leaves, etc. , to determine the corresponding shape features. Still in S302, based on a comparison between these determined shape features and each moving subject selected by the user, the subject type of each moving subject selected by the user is determined, wherein the subject type may include the type of vehicle, cloud and leaf, etc. Steps S301 to S302 correspond to step S101 described above in the disclosed embodiments as shown in Figure 1.

S304, according to the selected motion model matching with the subject type and the initial position of each pixel of the moving subject, intermediate position information of each pixel of the moving subject at each time point in the target image is calculated.

S305, according to each intermediate position, corresponding pixels of the moving subject are processed to obtain an image frame at each time point, and based on the image frame at each time point, an animated image is generated.

The implementation of S304 and S305 may refer to the descriptions of S102 and S103 in the disclosed embodiments as shown in Figure 1.

In addition, S305 may specifically include: obtaining an edge pixel of the moving subject, determining in the target image pixel information of a background pixel adjacent to the edge pixel, wherein the pixel information includes color information of the pixel; redrawing the corresponding pixels of the moving subject in each intermediate position to move the moving subject, and, based on the determined pixel information of the background pixels, inpainting a background of the target image after a movement of the moving subject.

In other words, after the pixels are redrawn, because an area where the moving subject is located is moved, an empty area may occur after the movement, and a background inpainting process may need to be performed on the empty area to fill the background according to the background pixels near the moving subject.

S306, the image frames at each time point are read out frame by frame from the animated image to display the animated image.

After the animated image is generated based on the redrawn image frames, the terminal may read out the image frames at each time point from the animated image frame by frame to display the corresponding animation to the user.

Thus, according to the disclosed embodiments, the terminal may determine and identify the moving subject in the image according to the user’s calibration, calculate coordinates based on the motion model to generate multiple frames to make the moving subject move. The dynamic image display in one image may be quickly achieved, and it is simple for the user to operate.

Further, Figure 4 illustrates a flow chart of a calculating method for intermediate position information according to disclosed embodiments. The method may correspond to the process steps described above in the disclosed embodiments as shown in Figure 1 to Figure 3, where the intermediate position information of each pixel of the moving subject at each time point in the target image is calculated according to the selected motion model matching with the moving subject and the initial position information of each pixel of the moving subject. Specifically, as shown in Figure 4, the calculating method may include the following steps.

At the beginning, in S401, the motion model matching with the subject type is selected from a preset relationship database of the subject type and the motion model.

A mapping table may be established in the preset relationship database of the subject type and the motion model. The mapping table records the subject types of certain moving subjects and the motion models which are one to one mapped to the subject types. For example, certain subject type and motion model mapping are illustrated in Table 1 below:

Table 1 Subject type and motion model mapping

Type Motion Model Leaves p1=d1 (p0, t) Vehicles p1=d2 (p0, t) Clouds p1=d3 (p0, t) …… ……

As shown in Table 1, the leaf subject type is mapped to the motion model p1=d1 (p0, t) , the vehicle subject type is mapped to the motion model p1=d2 (p0, t) , the cloud subject type is mapped to the motion model p1=d3 (p0, t) . Other subject type and motion model mapping may also be used. By presetting the mapping table, the motion model may be chosen at any time for the moving subjects of various subject types in order to carry out targeted dynamic image processing.

In S402, a moving direction specified by a user is obtained. Step S402 may first provide an interactive user interface UI to the user, and then obtain the moving direction specified through the interactive user interface UI by the user. It should be noted that the moving direction is a specified overall moving direction of the moving subject, and during a movement in the moving direction, a moving route is determined according to the motion model.

In S403, according to the matching motion model and the initial position of each pixel of the moving subject, the intermediate position information of each pixel of the moving subject at each time point in the specified moving direction in the target image is calculated.

Specifically, in S403, according to the initial coordinate and the motion model, the intermediate position information at a first time point is calculated. Based on the calculated intermediate position information, the intermediate position information at a next time point is calculated. So on and so forth, the intermediate position information in the target image at each time point can be obtained.

Thus, according to the disclosed embodiments, a relationship database of the subject type and the motion model can be preconfigured and the moving direction specified by the user can be obtained. Based on the user′s demand to animate part of the image, the intermediate position information during the movement can be quickly calculated to facilitate the subsequent localized dynamic image processing of the image.

According to the disclosed embodiments, a dynamic image processing apparatus according is also provided. Figure 5 illustrates a schematic diagram of a dynamic image processing apparatus according to disclosed embodiments. The disclosed apparatus may be applied in smart terminals, such as smart phones, tablet computers, personal computers, intelligent wearable devices, etc. , for dynamic image processing. Specifically, as shown in Figure 5, the image processing  apparatus may include an identifying module 1, a calculating module 2, and a generating module 3. Other modules may also be included.

The identifying module 1 is configured to identify a moving subject in a target image and a subject type of the moving subject, and to determine initial position information of each pixel of the moving subject in the target image. The calculating module 2 is configured to calculate intermediate position information of each pixel of the moving subject at each time point in the target image according to a selected motion model matching with the subject type and the initial position information of each pixel of the moving subject.

The generating module 3 is configured to process the corresponding pixels of the moving subject to obtain an image frame at each time point according to each intermediate position information, and to generate an animated image according to the image frames at each time point.

The target image may be a photo captured by a user, may also be an image or picture downloaded by the user from the network. The moving subject in the image may be an object in the target image which may move, such as leaf, cloud, vehicle, people, animals, etc. Specifically, one or more moving subjects may be determined automatically by the image processing apparatus based on a color and texture segmenting technology, or may be determined by manual selection through a Marquee border by the user.

The identifying module 1 may, based on a shape feature, automatically determine one or more moving subjects. For example, based on the shape feature of vehicle, one or more vehicles in the image may be determined. Or one or more moving subjects may be determined by the selection of a user through a border Marquee.

After the moving subject is identified, according to the shape feature of the moving subject determined automatically or by manual selection through a Marquee border (e. g. , line border of a geometric shape or any other shape) , the identifying module 1 may determine the subject type of the moving subject.

After an object is determined and identified in the image, the shape feature which describes the shape of the moving subject may be used as a basis to distinguish different objects. The shape feature of the moving subject may be represented through a contour feature or through an area feature, and the shape feature of the moving subject may be extracted by certain algorithm, such as built-in boundary feature algorithm, Fourier shape description algorithm, etc.

Further, according to a preset mapping relationship between the shape feature and the subject type, the subject type of each moving subject may be determined. For example, based on a square contour and two or more fan-shaped features at the bottom, it may be determined that the corresponding subject type of the shape features is a bus, which is a type of vehicle.

The subject type is used to represent the kind of object the moving subject is, and the subject type may further includes the subject types such as leaf, cloud, vehicle, ship, person, animal, etc. Further, different subject types may have different motion patterns. In other words, for each subject type, there is a corresponding motion model.

After the moving subject in the target image is determined, the identifying module 1 may specifically determine a coordinate of each pixel of the moving subject according to a two-dimensional data array or a width and height of the image.

Setting different motion model for each subject type may make the animation much richer. And different subject types have different movement patterns. For example, the cloud may only make a horizontal left and right move, the vehicle may make an ″S″ shaped move, the leaf may make a semi-circle move, and the ship may make an undulating move.

Therefore, motion models with different motion functions may be provided to different subject types, each motion model may be represented or described respectively by a function p1=d (p0, t) , where p0 refers to an initial coordinate of a pixel of the moving subject, t is a time parameter, which describes a time length (period) spent for the moving subject to complete a movement, p1 refers to a coordinate of the pixel after the movement. The calculating module 2, based on the function p1=d (p0, t) , may calculate and obtain each intermediate position of each pixel during the movement of the pixel from the initial position to the final position coordinate after the time t. The intermediate position information may be obtained at each time point and the intermediate position information includes the intermediate position information of each pixel at the time point.

The generating module 3 may further redraw the corresponding pixels at each corresponding intermediate position through pixel redrawing. Each redrawing of the corresponding pixels causes a movement of the corresponding area of the moving subject. So a background may also be estimated. And according to a background estimate result, a background inpainting process may be performed.

The generating module 3 may obtain an image frame based on the intermediate position at each time point and compose an animated image according to the image frames obtained based on all the intermediate positions. The generating module 3 may specifically uses existing GIF format to process the image frames obtained at each time point through the above steps to obtain the animated image. Other image formats may also be used.

Thus, according to the disclosed embodiments, the image processing apparatus may calculate coordinates based on the motion model, and generate multiple frames to make the moving subject move. Thus, the disclosed image processing apparatus may quickly achieve dynamic image display in one image, improving the easiness and convenience of the use experience.

Figure 6 illustrates a schematic diagram of another dynamic image processing apparatus according to disclosed embodiments. The image processing apparatus may further include, in addition to the identifying module 1, the calculating module 2, and the generating module 3 shown in Figure 5, a display module 4.

The display module 4 is configured to read out the image frames at each time point, frame by frame, from the animated image to display the animated image. That is, after the animated image is generated, the display module 4 may read out the image frames at each time point frame by frame from the animated image to display the corresponding animation to the user.

Additionally or alternatively, the calculating module 2 may further include a selecting unit 21, an obtaining unit 22, and a calculating unit 23.

The selecting unit 21 is configured to select a motion model matching with a subject type from a preset relationship database of the subject type and the motion model. The obtaining unit 22 is configured to obtain a moving direction specified by a user.

The calculating unit 23 is configured to calculate intermediate position information of each pixel of the moving subject at each time point in a target image according to the selected motion model matching with the subject type and the initial position information of each pixel of the moving subject.

A mapping table may be established in the preset relationship database of the subject type and the motion model. The mapping table may record the subject types of certain moving subjects and the motion models which are one to one mapped to the subject types, such as Table 1. By presetting the mapping table, the motion models may be chosen at any time for the moving subjects of various subject types in order to carry out targeted dynamic image processing.

The obtaining unit 22 may first provide an interactive user interface UI to the user, and then obtains the moving direction specified through the interactive user interface UI by the user. The user may specify the direction in the way like “to the left” , “to the right” , etc. , to complete the movement of the moving subject based on the specified direction and the motion model. It should be noted that the moving direction is a specified overall moving direction of the moving subject, and during the movement in the moving direction, a moving route is determined according to the motion model.

The calculating unit 23 may specifically calculate the intermediate position information at a first moment according to an initial coordinate and the motion model. Based on the calculated intermediate position information, the intermediate position information at a next moment is calculated. So on and so forth, the intermediate position information in the target image at each time point can be obtained.

Further, additionally and/or alternatively, the generating module 3 may further include a determining unit 31, a redrawing unit 32, and an inpainting unit 33.

The determining unit 31 is configured to obtain edge pixels of the moving subject and to determine in the target image pixel information of background pixels adjacent to the edge pixels, wherein the pixel information includes color information of the pixels. The redrawing unit 32 is configured to redraw the corresponding pixels of the moving subject in each intermediate position to move the moving subject.

The inpainting unit 33 is configured to inpaint a background of the target image after the movement of the moving subject based on the determined pixel information of the background pixels. In other words, after the pixels are redrawn, because an area where the moving subject is located is moved, an empty area may occur after the movement. The inpainting unit 33 may inpaint the background in the empty area according to the background pixels near the moving subject.

In addition, the identifying module may further include a selection determining unit 11 and a first type determining unit 12. The selection determining unit 11 is configured to determine the moving subject selected by the user from the target image.

The first type determining unit 12 is configured to determine the subject type of the moving subject based on the shape feature of the selected moving subject. Specifically, a statistical calculation may be performed on the shapes of the subjects, such as vehicle, cloud, and leaf, etc. , to determine the corresponding shape features.

The first type determining unit 12 may, based on the determined shape features, compare these shape features with each moving subject selected by the user to determine the subject type of each moving subject selected by the user. The subject type may include the type of vehicle, cloud, or leaf, etc. After the object is determined and identified in the image, the shape feature which describes the shape of the moving subject may be used as a basis to distinguish different objects. The shape feature of the moving subject may be represented through a contour feature or through an area feature, and the shape feature of the moving subject may be extracted by a built-in boundary feature algorithm, a Fourier shape description algorithm, etc.

Further, according to a preset mapping relationship between the shape feature and the subject type, the subject type of each moving subject may be determined. For example, based on a square contour and two or more fan-shaped features at the bottom, it may be determined that the corresponding subject type of the shape features is a bus, which is a type of vehicle.

Further, the identifying module 1 may also include an initial determining unit 13, an operation determining unit 14, and a second type determining unit 15. The initial determining unit 13 is configured to determine at least one initial moving subject from the target image based on a color and/or texture of the target image.

The operation determining unit 14 is configured to determine at least one moving subject based on a user′s calibration operation on the at least one initial moving subject. The second type determining unit 15 is configured to determine the subject type of the moving subject based on the shape feature of the determined at least one moving subject.

The identifying module 1 may also include the selection determining unit 11, the first type determining unit 12 and the initial determining unit 13, the operation determining unit 14 and the second type determining unit 15 to complete the identification of the moving subject and its subject type based on the user′s actual needs.

Further, based on the color and/or texture factors, etc. , of each area in the image, the image processing apparatus may roughly estimate one or more target subjects, i. e. , the initial moving subjects, and displays the corresponding Marquee border. The user may perform the calibration operation through manual modification using a mouse or keyboard, etc. , and eventually determines at least one moving subject.

Specifically, a statistical calculation may be performed on the shapes of the subjects, such as vehicle, cloud, and leaf, etc. , to determine the corresponding shape features. The second type determining unit 15 may, based on the determined shape features, compare these shape features with each moving subject selected by the user to determine the subject type of each moving subject selected by the user. The subject type may include the type of vehicle, cloud, and/or leaf, etc.

Thus, according to the disclosed embodiments, the image processing apparatus may determine and identify the moving subject in the image according to automatic identification and the user′s calibration operation, and calculate coordinates based on the motion model to generate multiple image frames to make the moving subject move. Thus, dynamic image display in one image may be quickly achieved, improving use easiness and convenience.

Further, based on the preset relationship database of the subject type and the motion model and the moving direction selected by the user, the disclosed image processing apparatus may target the user′s demand to animate part of the image, quickly calculate each intermediate position information during the movement to facilitate the follow-up implementation of a localized dynamic image processing of the image.

Figure 7 illustrates a schematic block diagram of an exemplary terminal according to the disclosed embodiments. The terminal may be a smart phone, a tablet computer, a personal computer, or an intelligent wearable device, etc. The terminal may specifically include: a processor 100 and a monitor 200. The processor 100 and/or the monitor 200 may be configured to perform the various methods described above and to implement the various apparatuses describe above.

Those ordinary skilled in the art may understand that the entire or part of the process of the disclosed methods may be implemented through a relevant hardware instructed by a computer  program. The program may be stored in a computer accessible storage medium. When the program is executed, the program may perform the processes described above in the disclosed methods to identify a moving subject in an image and calculate coordinates based on a motion model to generate multiple image frames to make the moving subject move. The storage medium may include a magnetic disk, optical disk, read-only memory (ROM) or random access memory (RAM) , etc. This disclosure describes certain embodiments of the present invention, and does not intend to limit the protection scope of the present invention. Therefore, any equivalent changes made consistent with the claims of the present invention are still within the protection scope of the present invention.

INDUSTRIAL APPLICABILITY AND ADVANTAGEOUS EFFECTS

Without limiting the scope of any claim and/or the specification, examples of industrial applicability and certain advantageous effects of the disclosed embodiments are listed for illustrative purposes. Various alternations, modifications, or equivalents to the technical solutions of the disclosed embodiments can be obvious to those skilled in the art and can be included in this disclosure.

The disclosed methods and systems can be implemented in various image processing applications, especially for mobile terminal based image processing applications. By using the disclosed methods and systems, the moving subject in the image can be determined and identified, and the coordinates of pixels of the moving subject can be calculated based on the motion model matching the subject type to generate multiple image frames to make the moving subject move. Thus, dynamic image display in one image may be quickly achieved, and it is easy and convenient for the user to operate.

Claims (12)

  1. A dynamic image processing method, comprising:
    identifying a moving subject in a target image;
    determining a subject type of the moving subject;
    determining initial position information of each pixel of the moving subject in the target image;
    calculating intermediate position information of each pixel of the moving subject at each time point in the target image according to a selected motion model matching the moving subject and the initial position information of each pixel of the moving subject; and
    processing corresponding pixels of the moving subject according to intermediate position information of pixels of the moving subject matter to obtain an image frame at each time point and generating an animated image based on the image frames at each time point.
  2. The method according to claim 1, wherein calculating the intermediate position information of each pixel of the moving subject at each time point in the target image includes:
    selecting the motion model matching the moving subject from a preset relationship database of the subject type and the motion model;
    obtaining a moving direction specified by a user;
    calculating the intermediate position information of each pixel of the moving subject at each time point in the specified moving direction in the target image according to the matching motion model and the initial position information of each pixel of the moving subject.
  3. The method according to claim 2, wherein processing the corresponding pixels of the moving subject according to each intermediate position information to obtain the image frame at each time point and generating the animated image based on the image frames at each time point further includes:
    redrawing at the intermediate position corresponding pixels of the moving subject to make the moving subject move;
    inpainting background in the target image after a movement of the moving subject according to determined background pixel information.
  4. The method according to claim 3, wherein identifying the moving subject in the target image and the subject type of the moving subject includes:
    determining the moving subject selected by the user in the target image; and
    determining the subject type of the moving subject according to a shape feature of the  selected moving subject.
  5. The method according to claim 3, wherein identifying the moving subject in the target image and the subject type of the moving subject includes:
    determining at least one initial moving subject in the target image based on at least one of a color feature and a texture feature;
    determining at least one moving subject according to a calibration operation of the user on the at least one initial moving subject; and
    determining the subject type of the moving subject according to the shape feature of the determined at least one moving subject.
  6. The method according to claims 1-5, further includes:
    reading out the image frames at each time point frame by frame from the animated image to display the animated image.
  7. A dynamic image processing apparatus, comprising:
    an identifying module configured to identify a moving subject in a target image, to determine a subject type of the moving subject, and to determine initial position information of each pixel of the moving subject;
    a calculating module configured to calculate intermediate position information of each pixel of the moving subject at each time point in the target image according to a selected motion model matching the moving subject and the initial position information of each pixel of the moving subject; and
    a generating module configured to process corresponding pixels of the moving subject according to the intermediate position information to obtain an image frame at each time point and to generate an animated image based on the image frames at each time point.
  8. The apparatus according to claim 7, wherein the calculating module further includes:
    a selecting unit configured to select the motion model matching with the moving subject from a preset relationship database of the subject type and the motion model;
    an obtaining unit configured to obtain a moving direction specified by a user;
    a calculating unit configured to calculate the intermediate position information of each pixel of the moving subject in the specified direction at each time point in the target image according to the matching motion model and the initial position information of each pixel of the moving subject.
  9. The apparatus according to claim 8, wherein the generating module includes:
    a determining unit configured to obtain edge pixels of the moving subject and to determine pixel information of background pixels adjacent to the edge pixels in the target image, wherein the pixel information includes color information of the pixel;
    a redrawing unit configured to redraw at each intermediate position the corresponding pixels of the moving subject to make the moving subject move; and
    an inpainting unit configured to inpaint background in the target image according to the determined background pixel information.
  10. The apparatus according to claim 9, wherein the identifying module includes:
    a selection determining unit configured to determine the moving subject selected by the user in the target image; and
    a first type determining unit configured to determine the subject type of the moving subject according to a shape feature of the moving subject.
  11. The apparatus according to claim 9, wherein the identifying module further includes:
    an initial determining unit configured to determine at least one initial moving subject based on at least one of a color feature and a texture feature;
    an operation determining unit configured to determine at least one moving subject according to the user′s calibration operation on the at least one initial moving subject; and
    a second type determining unit configured to determine the subject type of the moving subject according to the shape feature of the determined at least one moving subject.
  12. The apparatus according to claims 7-11, further includes:
    a display module configured to read out the image frames at each time point frame by frame from the animated image to display the animated image.
PCT/CN2014/085669 2013-09-02 2014-09-01 Method, apparatus and terminal device for dynamic image processing WO2015027953A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310392689.2 2013-09-02
CN201310392689.2A CN103473799B (en) 2013-09-02 2013-09-02 The method for dynamically processing of a kind of picture and device, terminal unit

Publications (1)

Publication Number Publication Date
WO2015027953A1 true WO2015027953A1 (en) 2015-03-05

Family

ID=49798632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/085669 WO2015027953A1 (en) 2013-09-02 2014-09-01 Method, apparatus and terminal device for dynamic image processing

Country Status (2)

Country Link
CN (1) CN103473799B (en)
WO (1) WO2015027953A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976419A (en) * 2016-05-05 2016-09-28 乐视控股(北京)有限公司 Method and apparatus for acquiring paintings and projecting animation
US9972118B2 (en) 2014-02-25 2018-05-15 Tencent Technology (Shenzhen) Company Limited Animation playback method and apparatus
US10373034B2 (en) 2016-05-10 2019-08-06 Tencent Technology (Shenzhen) Company Limited Method and apparatus for generating two-dimensional barcode picture having dynamic effect

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473799B (en) * 2013-09-02 2016-09-14 腾讯科技(深圳)有限公司 The method for dynamically processing of a kind of picture and device, terminal unit
CN104092937B (en) * 2014-06-16 2018-03-27 联想(北京)有限公司 A kind of method and device for generating image
CN104023172A (en) * 2014-06-27 2014-09-03 深圳市中兴移动通信有限公司 Shooting method and shooting device of dynamic image
CN104159034A (en) * 2014-08-21 2014-11-19 深圳市中兴移动通信有限公司 Shooting method and shooting device
CN104318596B (en) * 2014-10-08 2017-10-20 北京搜狗科技发展有限公司 The generation method and generating means of a kind of dynamic picture
CN104536748B (en) * 2014-12-22 2017-08-04 杭州短趣网络传媒技术有限公司 A kind of method for adjusting dynamic picture animation duration
CN104571887B (en) * 2014-12-31 2017-05-10 北京奇虎科技有限公司 Static picture based dynamic interaction method and device
CN104574473B (en) * 2014-12-31 2017-04-12 北京奇虎科技有限公司 Method and device for generating dynamic effect on basis of static image
WO2016107356A1 (en) * 2014-12-31 2016-07-07 北京奇虎科技有限公司 Static picture-based dynamic interaction method and device
CN104915102B (en) * 2015-06-25 2018-09-07 走遍世界(北京)信息技术有限公司 The exchange method and device of graphical interfaces
CN105049747B (en) * 2015-08-06 2018-04-20 广州市博源数码科技有限公司 A kind of system for identifying still image and being converted to Dynamic Announce
CN105469361B (en) * 2015-12-24 2018-12-04 努比亚技术有限公司 A kind of topography's treating method and apparatus
CN107644446B (en) * 2016-07-21 2019-03-15 腾讯科技(深圳)有限公司 A kind of cartoon grain implementation method and graphic processing apparatus
CN106572308A (en) * 2016-11-04 2017-04-19 宇龙计算机通信科技(深圳)有限公司 Method and system for synthesizing local dynamic graph

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1571479A (en) * 2004-04-23 2005-01-26 惠州Tcl移动通信有限公司 Method for shooting motion picture using handset
CN101510314A (en) * 2009-03-27 2009-08-19 腾讯科技(深圳)有限公司 Method and apparatus for synthesizing cartoon video
JP2009218900A (en) * 2008-03-11 2009-09-24 Casio Comput Co Ltd Imaging apparatus, motion picture recording and playback method, and program
CN102184561A (en) * 2011-05-24 2011-09-14 Tcl集团股份有限公司 Method for realizing 3D cloud layer simulation
CN103473799A (en) * 2013-09-02 2013-12-25 腾讯科技(深圳)有限公司 Picture dynamic processing method, device and terminal equipment

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101354795A (en) * 2008-08-28 2009-01-28 北京中星微电子有限公司 Method and system for driving three-dimensional human face cartoon based on video
CN102903124B (en) * 2012-09-13 2015-08-19 苏州大学 A kind of moving target detecting method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1571479A (en) * 2004-04-23 2005-01-26 惠州Tcl移动通信有限公司 Method for shooting motion picture using handset
JP2009218900A (en) * 2008-03-11 2009-09-24 Casio Comput Co Ltd Imaging apparatus, motion picture recording and playback method, and program
CN101510314A (en) * 2009-03-27 2009-08-19 腾讯科技(深圳)有限公司 Method and apparatus for synthesizing cartoon video
CN102184561A (en) * 2011-05-24 2011-09-14 Tcl集团股份有限公司 Method for realizing 3D cloud layer simulation
CN103473799A (en) * 2013-09-02 2013-12-25 腾讯科技(深圳)有限公司 Picture dynamic processing method, device and terminal equipment

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9972118B2 (en) 2014-02-25 2018-05-15 Tencent Technology (Shenzhen) Company Limited Animation playback method and apparatus
CN105976419A (en) * 2016-05-05 2016-09-28 乐视控股(北京)有限公司 Method and apparatus for acquiring paintings and projecting animation
US10373034B2 (en) 2016-05-10 2019-08-06 Tencent Technology (Shenzhen) Company Limited Method and apparatus for generating two-dimensional barcode picture having dynamic effect

Also Published As

Publication number Publication date
CN103473799A (en) 2013-12-25
CN103473799B (en) 2016-09-14

Similar Documents

Publication Publication Date Title
US9041734B2 (en) Simulating three-dimensional features
US9171405B1 (en) Identifying and filling holes across multiple aligned three-dimensional scenes
US8472746B2 (en) Fast depth map generation for 2D to 3D conversion
US9224237B2 (en) Simulating three-dimensional views using planes of content
US9177381B2 (en) Depth estimate determination, systems and methods
JP4845147B2 (en) Perspective editing tool for 2D images
CN105493155B (en) Method and apparatus for indicating physics scene
US20140085293A1 (en) Method of creating avatar from user submitted image
US8659593B2 (en) Image processing apparatus, method and program
US10198859B2 (en) Automated three dimensional model generation
DE112011103221T5 (en) Extend image data based on related 3D point cloud data
KR20140101396A (en) Methods and systems for capturing and moving 3d models and true-scale metadata of real world objects
US20130013578A1 (en) Object retrieval using visual query context
WO2012037157A2 (en) System and method for displaying data having spatial coordinates
WO2012033768A2 (en) Efficient information presentation for augmented reality
CN103390075A (en) Comparing virtual and real images in a shopping experience
US20150097862A1 (en) Generating augmented reality content for unknown objects
JP2015510112A (en) Virtual ruler
US8363984B1 (en) Method and system for automatically cropping images
CN102306395A (en) Distributed drawing method and device of three-dimensional data
Zollmann et al. Image-based ghostings for single layer occlusions in augmented reality
KR100738500B1 (en) Method for bi-layered displacement mapping and protruded displacement mapping
WO2016181202A1 (en) Generation, transmission and rendering of virtual reality multimedia
US9990734B2 (en) Locating and augmenting object features in images
US9275078B2 (en) Estimating depth from a single image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14839432

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase in:

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 11/05/2016)

122 Ep: pct application non-entry in european phase

Ref document number: 14839432

Country of ref document: EP

Kind code of ref document: A1