WO2024076204A1 - 사용자 제스처 기반 반응형 영상 생성 장치 및 방법 - Google Patents

사용자 제스처 기반 반응형 영상 생성 장치 및 방법 Download PDF

Info

Publication number
WO2024076204A1
WO2024076204A1 PCT/KR2023/015419 KR2023015419W WO2024076204A1 WO 2024076204 A1 WO2024076204 A1 WO 2024076204A1 KR 2023015419 W KR2023015419 W KR 2023015419W WO 2024076204 A1 WO2024076204 A1 WO 2024076204A1
Authority
WO
WIPO (PCT)
Prior art keywords
responsive
frames
specific object
user
pattern
Prior art date
Application number
PCT/KR2023/015419
Other languages
English (en)
French (fr)
Inventor
이철우
Original Assignee
이철우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230132328A external-priority patent/KR20240049180A/ko
Application filed by 이철우 filed Critical 이철우
Publication of WO2024076204A1 publication Critical patent/WO2024076204A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces

Definitions

  • the present disclosure relates to an apparatus and method for generating a responsive image, and more specifically, the present disclosure relates to an apparatus and method for generating a responsive image based on user gestures.
  • Video playback is provided unilaterally in chronological order without interaction with the viewer. In other words, the viewer can only feel the visual sense through the video being played.
  • This disclosure is implemented and provided as a responsive video that responds to input operations based on the user's various gestures, thereby arousing the user's interest, increasing interest, and maximizing delivery and promotional effects.
  • a responsive video that responds to input operations based on the user's various gestures, thereby arousing the user's interest, increasing interest, and maximizing delivery and promotional effects.
  • the present disclosure is based on a user gesture that allows the effect mapped to that specific gesture on the corresponding object to be played within the responsive video when an input operation is detected as the user performs a specific gesture based on the responsive video.
  • a user gesture-based responsive image generating device for achieving the above-described technical problem includes a communication module that communicates with an external device; a storage module that stores at least one process for generating a responsive image based on a user's gesture; and a control module that performs an operation to generate the responsive image based on the user's gesture based on the at least one process, wherein the control module generates a basic image including at least one object.
  • a specific object among the at least one object is designated, a playback section related to the specific object is set on the basic image, a compressed image consisting of a plurality of frames included in the playback section is generated, and the specific object is selected.
  • the input manipulation pattern may be based on any one of drag, rotate, rubber, pinch, and spread.
  • a user gesture-based responsive image generation method includes, when a basic image including at least one object is input, designating a specific object among the at least one object; setting a playback section related to the specific object on the basic image; generating a compressed video consisting of a plurality of frames included in the playback section; determining a pattern of input manipulation according to changes in characteristics of the specific object; Setting a touch area based on the specific object in each of the plurality of frames; and generating a responsive image by applying the pattern of the input operation to each touch area, wherein the pattern of the input operation includes drag, rotate, rubber, and pinch ( It can be configured based on either pinch or spread.
  • a computer program stored in a computer-readable recording medium for executing the method for implementing the present disclosure may be further provided.
  • a computer-readable recording medium recording a computer program for executing a method for implementing the present disclosure may be further provided.
  • the level of interest is increased by arousing the user's interest, and the communication ability and Maximize promotional effectiveness.
  • the effect mapped to the specific gesture for the corresponding object can be played within the responsive image.
  • Figure 1 is a block diagram showing the configuration of a responsive image generating device according to an embodiment of the present disclosure.
  • Figure 2 is a flowchart showing a method for generating a responsive image according to an embodiment of the present disclosure.
  • Figure 3 is a flowchart specifically illustrating the operation of generating a compressed image in the responsive image generation method according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating an example of generating a compressed image by extracting a plurality of frames from a base image according to an embodiment of the present disclosure.
  • Figure 5 is a flowchart specifically illustrating the operation of determining a pattern of input manipulation in the responsive image generation method according to an embodiment of the present disclosure.
  • Figure 6 is a flowchart specifically illustrating the operation of setting each touch area on a plurality of frames in the responsive image generation method according to an embodiment of the present disclosure.
  • Figure 7 is a flowchart specifically illustrating the operation of creating a virtual layer combined on a plurality of frames according to an embodiment of the present disclosure.
  • Figure 8 is a flowchart specifically illustrating the operation of dividing a virtual layer into a plurality of detailed cells according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram schematically illustrating an operation of mutually mapping frames corresponding to each detailed cell in a plurality of frames according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating an example of a virtual layer for a pattern of input manipulation constructed based on a drag method according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of a virtual layer for a pattern of input manipulation configured based on a rotation method according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating an example of a virtual layer for a pattern of input manipulation configured based on a pinch or spread method according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of a virtual layer for a pattern of input manipulation constructed based on a rubber method according to an embodiment of the present disclosure.
  • Figures 14 and 15 are diagrams showing an example of a responsive video implemented by applying an input manipulation pattern based on a drag method according to an embodiment of the present disclosure.
  • Figures 16 to 18 are diagrams showing an example of a responsive video implemented by applying an input manipulation pattern based on a rotation method according to an embodiment of the present disclosure.
  • FIG. 19 is a diagram illustrating an example of a responsive video implemented by applying an input manipulation pattern based on a spread method according to an embodiment of the present disclosure.
  • FIG. 20 is a diagram illustrating an example of a responsive image implemented by applying an input manipulation pattern based on a pinch method according to an embodiment of the present disclosure.
  • FIG. 21 is a diagram illustrating an example of a responsive image implemented by applying an input manipulation pattern based on a rubber method according to an embodiment of the present disclosure.
  • FIG. 22 is a diagram illustrating various methods for setting touch areas based on specific objects in a plurality of frames according to an embodiment of the present disclosure.
  • 23 to 26 are examples of a pattern of an input operation input through the user interface of a provider terminal when generating a responsive image according to an embodiment of the present disclosure and a touch area set in response to the pattern of the input operation. This is a drawing showing .
  • Singular expressions include plural expressions unless the context clearly makes an exception.
  • the identification code for each step is used for convenience of explanation. The identification code does not explain the order of each step, and each step may be performed differently from the specified order unless a specific order is clearly stated in the context. there is.
  • 'responsive video' refers to a video that changes or plays in a form corresponding to a specific input operation of a user (i.e., viewer) who receives (uses) the video. For example, it may mean an image that is played back as if an object in the image moves according to the user's operation, in which the user's input operation corresponding to a specific movement of the captured basic image (original image) is connected.
  • the 'responsive image generating device 100' is a provider terminal (provider terminal) that wishes to generate a responsive image and provide it to the user, and various devices capable of performing computational processing are used. All can be included. That is, the responsive image generating device 100 may further include a server, a computer, and/or a portable terminal, or may take the form of any one of them, but is not limited thereto.
  • the server is a server that processes information by communicating with external devices, and may include an application server, computing server, database server, file server, game server, mail server, proxy server, and web server.
  • the computer may include, for example, a laptop equipped with a web browser, a desktop, a laptop, a tablet PC, a slate PC, etc.
  • 'input manipulation refers to manipulation of a user's image received through an input means of a responsive image generating device or a user terminal in order to generate or play a responsive image.
  • the input operation is an operation that can be input at a specific point or area in the image through an input means such as a mouse or touch screen (e.g., a click operation, a drag operation, a rotate operation, Pinch operation, spread operation, rubber operation, contact touch operation over a certain period of time, force touch operation (i.e., touch operation that applies pressure of a preset intensity to the touch screen or touch pad), etc.
  • the input operation may be obtained by using a responsive image generating device or a sensor provided by the user terminal (for example, an acceleration sensor, a gyro sensor, etc.) as an input means, or It may include movement, etc.
  • 'object' refers to an object to be manipulated by a user.
  • the basic image is an image of a user touching a specific object with his hand
  • the object refers to an object touched by the user.
  • the object may be a person in the image.
  • ‘manipulation object’ refers to performing manipulation on an object within an image. For example, when touching or pressing a bag or pillow with a hand in an image, the operating object refers to the hand touching the bag or pillow.
  • 'basic video' refers to the first original video that is not implemented in a responsive manner.
  • the basic image corresponds to a video generated by a general shooting method or a combination of a plurality of video frames in which video frames are stored for each object location in space.
  • 'compressed video' refers to an image composed only of frames containing minimal, non-overlapping motion in order to implement a basic image as a responsive image. For example, if the same movement is included repeatedly in the base image, the compressed image deletes the repeated (or overlapping) movement and leaves only one. Additionally, for example, if the basic image includes both movement from the first position to the second position and movement from the second position to the first position, the compressed image is the basic image moving from the first position to the second position. Leaving it alone, the movement from the second position to the first position can play the remaining basic image in the reverse direction.
  • Figure 1 is a block diagram showing the configuration of a responsive image generating device according to an embodiment of the present disclosure.
  • a responsive image generating device (hereinafter referred to as 'generating device') 100 according to an embodiment of the present disclosure includes a communication module 110, a storage module 130, and a control module 150. It may be configured to include.
  • the communication module 110 transmits and receives at least one information or data to and from at least one user terminal.
  • at least one user terminal is a terminal of a user who wishes to receive various services related to responsive video, and can use various services related to responsive video through platforms, web pages, etc., and limits the method and means of providing them. I never do that.
  • the communication module 110 may include one or more components that enable communication with other devices, for example, a wired communication module, a wireless communication module, a short-range communication module, and a location information module. It can contain at least one.
  • the storage module 130 stores at least one process necessary to generate a responsive image as well as at least one process necessary to provide various services related to the responsive image.
  • the storage module 130 may further store processes for performing other operations, but this is not limited.
  • the storage module 130 can store data supporting various functions of the generating device 100.
  • the storage module 130 may store a plurality of application programs (application programs) running on the production device 100, data and commands for operating the production device 100. At least one of these application programs Some may exist for the basic functions of the production device 100.
  • the application program is stored in the storage module 130, installed on the production device 100, and generated by the control module 150. It may be driven to perform the operation (or function) of the device 100.
  • the storage module 130 stores at least one basic image and at least one responsive image generated based on the at least one basic image.
  • various responsive image creation files may be included in the folder where the basic image is stored, or the corresponding responsive image creation file may be matched in the database.
  • it is possible to implement a responsive video by playing the corresponding responsive video creation file together when playing the basic video.
  • the storage module 130 performs playback based on set information about a plurality of basic images and/or a plurality of responsive images, and a selection order for a plurality of basic images and/or a plurality of responsive images included in each set.
  • Pattern information may be stored.
  • the playback pattern information includes playback patterns corresponding to the order in which a plurality of basic images or a plurality of responsive images can be selected.
  • control module 150 can typically control the overall operation of the production device 100.
  • the control module 150 processes signals, data, information, etc. input or output through the components discussed above or runs an application program stored in the storage module 130 to provide or process appropriate information or functions to users. You can.
  • control module 150 related to the present disclosure
  • Figure 2 is a flowchart showing a method for generating a responsive image according to an embodiment of the present disclosure.
  • the control module 150 selects the designated object within the basic image.
  • Set a playback section related to a specific object S220.
  • the specific object may be designated in advance by the provider of the basic image, or may be designated by the user of the production device 100, but the specific object for which a characteristic change is detected within the basic image may be automatically designated. It may be possible.
  • the characteristic change may include at least one of a motion change, a resolution change, and a sharpness change.
  • control module 150 may automatically set a section in which a change in the characteristics of the specific object appears as a playback section, or the playback section may be set according to an external instruction or input or user setting.
  • control module 150 generates a compressed image consisting of a plurality of frames included in the set playback section (S230) and determines a pattern of input manipulation according to changes in the characteristics of the specific object (S240). .
  • control module 150 sets each touch area based on the specific object in the plurality of frames (S250), applies the pattern of the input operation to each set touch area, and finally responds to the touch area. Create an image (S260).
  • the generated compressed video is an image composed of a plurality of frames containing minimal movement of the specific object that does not overlap within the set playback section.
  • the input operation is based on continuous touch gestures, and the pattern of the input operation is based on any one of drag, rotate, pinch, spread, and rubber. It can be composed of .
  • FIG. 3 is a flowchart specifically illustrating the operation of generating a compressed image in the responsive image generation method according to an embodiment of the present disclosure, specifically illustrating step S230 of FIG. 2.
  • control module 150 extracts a plurality of frames based on a preset time interval from all frames included in the playback section (S231).
  • the preset time interval can be set and changed by the provider or user, and may be applied differently to each of at least one basic image, or may be applied equally to all basic images.
  • frames can be extracted at short time intervals in sections where there are many changes in the state of the object included in one basic image, and at relatively long time intervals in sections where there are few state changes. there is.
  • control module 150 can generate a compressed image by sequentially arranging the plurality of frames extracted in step S231 in chronological order (S232).
  • FIG. 4 is a diagram illustrating an example of generating a compressed image by extracting a plurality of frames from a base image according to an embodiment of the present disclosure.
  • the control module 150 extracts the basic video 10 from the basic video 10.
  • a frame can be extracted every 2 seconds, and as a result, F 2 , F 4 and F 6 are extracted among the total frames, and the plurality of frames (F 2 , F 4 and F 6 ) can be generated.
  • FIG. 5 is a flowchart specifically illustrating the operation of determining a pattern of input manipulation in the responsive image generation method according to an embodiment of the present disclosure, and specifically shows step S240 of FIG. 2.
  • control module 150 detects a change in the characteristics of a specific object included in a plurality of frames (S241).
  • the control module 150 uses one of the touch gesture methods among drag, rotate, pinch, and spread.
  • the pattern of the configured input operation is determined (S242).
  • the control module 150 determines a pattern of input manipulation based on the rubber touch gesture method (S243).
  • FIG. 6 is a flowchart specifically illustrating the operation of setting each touch area on a plurality of frames in the responsive image generation method according to an embodiment of the present disclosure, and specifically shows step S250 of FIG. 2.
  • control module 150 creates a virtual layer combining a plurality of frames included in the compressed video (S251) and divides the virtual layer into a plurality of detailed cells (S252).
  • control module 150 mutually maps the frames corresponding to each detailed cell in the plurality of frames (S253).
  • a plurality of detailed cells are set based on the position of the object that changes over time, and a frame corresponding to each of the plurality of detailed cells is mapped according to the changing position of the object.
  • FIG. 7 is a flowchart specifically illustrating the operation of creating a virtual layer combined on a plurality of frames according to an embodiment of the present disclosure, and specifically shows step S251 of FIG. 6.
  • control module 150 recognizes a feature point for the specific object in each of the plurality of frames (S2511), determines the location of each feature point, and confirms the movement path of the specific object (S2522) ).
  • the feature point may be recognized for a specific part (center, extremity, etc.) of the object, but this is not limited.
  • control module 150 creates a virtual layer to include the movement path confirmed in step S2522 (S2513).
  • FIG. 8 is a flowchart specifically illustrating the operation of dividing a virtual layer into a plurality of detailed cells according to an embodiment of the present disclosure, and specifically shows step S252 of FIG. 6.
  • control module 150 projects the position of each feature point recognized in step S2511 onto the virtual layer created in step S2513 (S2521), and divides the positions of each feature point. Create multiple detailed cells (S2522).
  • a plurality of detailed cells may be created with the same size or may be created with different sizes.
  • the size of each detailed cell may be determined to correspond to (proportional to) the speed at which the state of the object changes.
  • a playback section in which the state change is fast a small-sized detail cell can be used, and a playback section in which the state change is relatively slow can have a detailed cell with a larger size than other detailed cells.
  • FIG. 9 is a diagram schematically illustrating an operation of mutually mapping frames corresponding to each detailed cell in a plurality of frames according to an embodiment of the present disclosure.
  • the control module 150 controls the two objects. Create a virtual layer (30) for (22, 23), respectively. That is, the control module 150 may generate a first virtual layer 31 for the first object and a second virtual layer 32 for the second object.
  • the frame corresponding to each detailed cell included in the first virtual layer 31 and the second virtual layer 32 is mapped based on the positions of the feature points of each of the two objects in each of the seven frames.
  • the responsive video is displayed and played on the user terminal, if the user performs a spread operation by touching the detailed cells included in each of the first virtual layer 31 and the second virtual layer 32, the seven frames is played forward, and when the user performs a pinch operation by touching a detailed cell included in each of the first virtual layer 31 and the second virtual layer 32, the seven frames are played backwards.
  • the control module 150 mutually maps the frames corresponding to each detailed cell in the plurality of frames (S253).
  • FIG. 10 is a diagram illustrating an example of a virtual layer for a pattern of input manipulation constructed based on a drag method according to an embodiment of the present disclosure.
  • a plurality of detailed cells (numbered 1 to 10) are generated along the moving path of the object.
  • the control module 150 starts with the frame mapped to the first touched detailed cell and then moves to the subsequent detailed cells. It indicates that it responds to the user's input operation by sequentially playing the mapped frames.
  • control module 150 does not respond because there are no subsequent detail cells.
  • the frame mapped to the first touched detailed cell can be played and responded sequentially in response to consecutive touch operations. there is.
  • an example of an input operation configured based on a drag method and a touch area set in response to a pattern of the input operation can be confirmed through (a) and (b) of FIG. 23.
  • FIG. 11 is a diagram illustrating an example of a virtual layer for a pattern of input manipulation configured based on a rotation method according to an embodiment of the present disclosure.
  • the virtual layer is created in a circular or oval shape, and the circular or oval area can be divided into a plurality of detailed cells (Nos. 1 to 6).
  • control module 150 divides 360° into N angle sections in proportion to the number of frames in the playback section included in the compressed video, and when the user performs an input operation through touch within a circular or oval area, the By calculating the angle of the touch point based on the midpoint of the area, a frame linked to the corresponding angle section can be displayed.
  • control module 150 divides 360° into N angle sections based on the number of frames of the playback section included in the compressed video, and when a touch is started with two fingers within a circular or oval area, a line connecting the two touch points is formed. You can also calculate the angle and display a frame linked to the corresponding angle section.
  • control module 150 divides it into N touch areas (RMD slices) in proportion to the number of frames in the playback section included in the compressed video, and may display a mapping frame on each touch area when each touch area is touched. there is.
  • the virtual layer for the input manipulation pattern based on the rotation method is set so that the last detailed cell (No. 6) is connected to the first detailed cell (No. 1), even if the user touches the last detailed cell, Starting from the frame mapped to the first detailed cell, it can be played back sequentially in response to successive touch operations.
  • the control module 150 plays in the forward direction from the frame mapped to the first touched detailed cell and performs a touch operation in the opposite direction of the direction. When this is performed, it responds by playing backwards from the frame mapped to the first touched detail cell.
  • Figure 11 shows a virtual layer set so that the last detailed cell (No. 6) is connected to the first detailed cell (No. 1), but this is only an example and may be set to be rotated one-time.
  • the last detailed cell (No. 6) is connected to the first detailed cell (No. 1) to prevent continuous frame playback. Therefore, even if the user performs an input operation through touch several times in succession, if it is preset to be able to rotate once, as in FIG. 10, the control module 150 starts with the frame mapped to the first touched detailed cell and moves to frame 1. Playback is performed only up to the frame mapped to the last detailed cell so as not to exceed the rotation radius, and subsequent touch input operations can be ignored.
  • control module 150 may record the number of degrees (°) rotated by accumulating the rotation angle each time it rotates to an adjacent area or angle section. there is.
  • control module 150 can support rotations exceeding 360° by accumulating and recording the rotation angle, so it can unwind a rope that has been wound several times or tighten a screw several times through repeated touch operations. You can also implement a responsive video that turns and tightens.
  • control module 150 does not divide 360° by the number of frames included in the compressed video, but rather allows the provider to set a specific angle according to the content of the video (i.e., the rotation angle of the manipulation object in the video) and All frames of compressed video can be played back with just one operation.
  • an example of an input operation configured based on a rotation method and a touch area set in response to a pattern of the input operation can be confirmed through (a) and (b) of FIG. 24.
  • FIG. 12 is a diagram illustrating an example of a virtual layer for a pattern of input manipulation configured based on a pinch or spread method according to an embodiment of the present disclosure.
  • the input operation pattern which is based on the pinch or spread method, uses the coordinates of a series of pairs of two touch points and uses the distance between the area and the touch points belonging to each pair to pinch the two fingers together. This is a method that supports pinch and spread operations.
  • the control module 150 may calculate a frame to be displayed based on the distance between pairs of touch points. If continuous touch actions are recorded and input, a pair of touch points corresponding to the frame is recorded at every interval between frames included in the compressed video (e.g., 1/30 second for 30fps video), and a series of touch points are recorded. The distance between the pairs (s1, s2, s3, ...) can be used as a standard for displaying the corresponding frames.
  • control module 150 starts playback when two touch points enter the touch area, and then the distance between the pair of touch points is smaller (pinch) or larger (spread) than the distance between the recorded series of touch point pairs. In this case, the frame mapped to it is played and displayed.
  • the touch area is a rectangular area drawn by the pair of touch points that are the furthest from a series of touch point pairs, and in the case of spread, it is a rectangle drawn by the pair of touch points that are closest in distance, and the width and height of the rectangle are of a certain size. If it is less than that, apply the minimum value to ensure that the rectangular area is not too narrow or thin to touch with your finger.
  • the control module 150 receives the maximum size of the touch area and the direction of pinch or spread through the user's input (e.g., pinch or spread operation using two fingers), and The distance between the size of the input touch area and the minimum touch area can be divided by the number of frames included in the compressed video, and the frames corresponding to each divided section can be played and displayed.
  • a method of reflecting the direction of a pair of touch points (the pair with the greatest distance) that serves as a reference during playback may be applied. Specifically, based only on the distance between pairs of input touch points, frames can be played and displayed according to the standards recorded above. In this case, there is no direction, so it is suitable for enlarging and reducing the screen, for example, but when applied to a physical object that has directionality of opening and closing, the movement of the finger and the movement of the object may not match.
  • control module 150 projects the coordinates of each pair of input touch points in the vertical direction on the line segment based on the line segment between the reference pair of touch points, and then plays the frame based on the calculated distance. It can be displayed.
  • the directionality is strongly applied and has the opposite advantages and disadvantages of the above case.
  • an example of an input operation configured based on a rotation method and a touch area set in response to a pattern of the input operation can be confirmed through (a) and (b) of FIG. 25.
  • FIG. 13 is a diagram illustrating an example of a virtual layer for a pattern of input manipulation constructed based on a rubber method according to an embodiment of the present disclosure.
  • the control module 150 calculates the total moving distance (d1+d2+%) and the preset rubbing ( Video frames can be played and displayed according to the proportion between the maximum values of rubbing.
  • the control module 150 When the maximum rubbing value is set to the size (D) of the corresponding area and the number of frames included in the compressed video is N, the control module 150 operates whenever the total of the moving distances is D/N. The next frame can be played and displayed.
  • the shape of the corresponding area may be circular, rectangular, or other shapes, and in this case, the size can be predefined in terms of width, height, area, etc., depending on the shape of the area.
  • the control module 150 determines that the total of the moving distances is Each time N, the next frame can be played and displayed.
  • control module 150 determines the difference between the total time of movement and the preset maximum time of rubbing, regardless of the direction. Frames can also be played and displayed according to the proportion of .
  • the control module 150 determines that the total time for movement through touch operations is T/N. Each time, the next frame can be played and displayed.
  • an example of an input operation configured based on the rubber method and a touch area set in response to a pattern of the input operation can be confirmed through (a) and (b) of FIG. 26.
  • an input operation can be performed only when the user's touch is within a plurality of detailed cells, that is, within the touch area, and if the input operation is outside the touch area while performing the input operation, the input operation can be performed. Playback of responsive videos may stop or return to the original frame.
  • input manipulation through touch can be performed only within a specific angle or touch area, and frames can be played only from the first touched touch area to the subsequent touch areas.
  • frames can be played only from the first touched touch area to the subsequent touch areas.
  • a plurality of 8 detailed cells are formed as a touch area, if the user performs an input operation by touching within the area of detailed cells 4 to 7, each of the detailed cells 4 to 7 Frames mapped to can be sequentially displayed and played.
  • Figures 14 and 15 are diagrams showing an example of a responsive video implemented by applying an input manipulation pattern based on a drag method according to an embodiment of the present disclosure.
  • Figures 14 (a) to 14 (c) are responsive images to which an input manipulation pattern is applied, which consists of dragging and moving the object (A) in a certain direction according to a touch operation.
  • a guide bar (B) may be further configured so that the user can easily check the pattern of the input operation. This guide bar (B) can be viewed as the moving path of the object (A).
  • a virtual layer is created to include the movement path of the object A, and this virtual layer is divided into a plurality of detailed cells.
  • first detailed cell (C) is shown, but this is for convenience of explanation and this detailed cell is not visible when displayed on the user terminal. Even if it is not the area of the first detailed cell, the user can play an action in which the object (A) moves along the movement path by touching one of the areas corresponding to the movement path and moving the finger without lifting it.
  • FIG. 15 is configured to play at least one basic image in addition to the portion implemented as a responsive image, and FIG. 15(a) and FIG. 15 (a) are shot from various angles showing several objects being transported one by one through a conveyor belt.
  • the user touches the conveyor belt through the touch operation in Figure 15 (c) and moves it along the moving path of the conveyor belt without removing the finger, thereby creating several The action of moving the object can be played.
  • Figures 16 to 18 are diagrams showing an example of a responsive video implemented by applying an input manipulation pattern based on a rotation method according to an embodiment of the present disclosure.
  • Figure 16 (a) is a responsive image implemented to play the action of winding the mainspring.
  • the user touches the mainspring part and rotates it without lifting his or her finger.
  • an image of the winding spring can be played as the frame is played and displayed in the forward direction, and in that state, when the user lifts his finger, the frame is played in the reverse direction. As it is displayed, the video of the mainspring being released can be played.
  • Figure 17 (a) is a responsive video that is configured to set a specific angle and play all frames of the compressed video with only a touch operation corresponding to the angle, rather than dividing 360° by the number of frames included in the compressed video.
  • the specific angle is marked in red and is not displayed on the actual user interface, and a guide bar is simply displayed as a movement path according to the specific angle.
  • Figure 18 (a) is a responsive image constructed so that the first detailed cell and the last detailed cell are continuously connected so that a touch operation can be performed.
  • Figure 17 is for a rotation operation of less than 360°
  • Figure 18 is for a rotation operation of more than 360°.
  • FIG. 19 is a diagram illustrating an example of a responsive video implemented by applying an input manipulation pattern based on a spread method according to an embodiment of the present disclosure.
  • Figure 19(a) is a responsive image configured to respond to multiple touches. As shown in Figure 19(b), when the user performs a spread operation through multiple touches, Figure 19(c) As shown, in response to the motion, an image of the bisected hamburger opening in opposite directions can be played (forward play), and in that state, when the user lifts the finger, the bisected hamburger closes again. You can also play the losing video (reverse playback).
  • FIG. 20 is a diagram illustrating an example of a responsive image implemented by applying an input manipulation pattern based on a pinch method according to an embodiment of the present disclosure.
  • FIG. 20(a) is also a responsive image configured to respond to multiple touches, similar to FIG. 19.
  • FIG. 20(b) when the user performs a pinch operation through multiple touches,
  • FIG. 20(c) of FIG. 20 an image in which the size of the object is gradually reduced in response to the operation can be played (forward play), and in that state, when the user lifts his or her finger, the reduced object is displayed. You can also play the enlarged video again (reverse playback).
  • FIG. 21 is a diagram illustrating an example of a responsive image implemented by applying an input manipulation pattern based on a rubber method according to an embodiment of the present disclosure.
  • the user touches the touch area based on the object and performs a rubber motion without lifting his or her finger to wipe off the moisture on the glass.
  • all frames included in the compressed video can be played and displayed sequentially according to the number of times the rubber operation is performed. In other words, in order to achieve the same effect as water condensation on the glass being gradually wiped away through the rubber motion, the next frame is played and displayed only when the number of times the rubber motion is performed.
  • the performance range can be set, so that the next frame is played and displayed only when the set performance range is satisfied.
  • FIG. 22 is a diagram illustrating various methods for setting touch areas based on specific objects in a plurality of frames according to an embodiment of the present disclosure.
  • the provider directly creates a virtual layer by performing an input operation through a drag operation, such as a manual input (MANUAL INPUT), and also forms a plurality of detailed cells through a touch operation on the virtual layer. can do. At this time, the size and shape of each of the plurality of detailed cells can also be set through touch manipulation.
  • a drag operation such as a manual input (MANUAL INPUT)
  • MANUAL INPUT a manual input
  • the size and shape of each of the plurality of detailed cells can also be set through touch manipulation.
  • the provider does not directly input a drag operation, but analyzes changes in the object's characteristics, creates a virtual layer along the movement path identified through the analysis results, and includes it in the compressed image.
  • a plurality of detailed cells can be created by dividing the number of frames into equal intervals, or the acceleration or deceleration of the movement path can be adjusted by adjusting the position of the feature point of the object on the screen.
  • the position on each frame can be adjusted at once by applying mathematical functions such as ease-in, ease-out, and bezier curve.
  • Figure 22 is limited to the case of creating a virtual layer based on the drag method, even when creating a virtual layer based on the rotation method, the provider directly performs an input operation through a rotation operation. , you can directly create a virtual layer, and through touch manipulation on the virtual layer, you can form a plurality of detailed cells as well as set the rotation direction and range (angle).
  • the rotation radius and position are calculated based on this.
  • Multiple detailed cells can be created by dividing the compressed video according to the number of frames.
  • a rotation operation of less than 360° a plurality of detailed cells are selected to match the movement of the object included in the compressed image, and the remaining areas do not respond to touch.
  • movements between multiple detailed cells are stored together to enable operations such as triggering an event after rotating multiple times.
  • touch point pairs are extracted at the same frequency (frame-per-second) as the FPS setting of the compressed video, and a series of continuously changing sizes is created. Areas can be created. Additionally, the provider can adjust the location and size of the preset area.
  • the provider when the provider performs an input operation through direct rubber operation, the provider sets a circular area and sets a multiple (x1, x2, x0.5, etc.) through a separate UI, and the diameter of the set circular area is set as The distance divided by the multiple is applied as the maximum rubbing value.
  • the provider sets an area such as a rectangle and sets a multiple (x1, x2, x0.5, etc.) through a separate UI
  • the distance divided by the multiple of the predefined rubbing distance due to the set area is set as the maximum rubbing value.
  • the provider sets a rubbing area such as a circle or rectangle and inputs a random distance (X) or a random time (T) through a separate UI, the rubbing maximum value or Apply it for the maximum time.
  • the provider can adjust the location and size of the preset area.
  • Compare last frame to display the first and last frames overlapping in order to determine the front and rear positions of the object expressed within the playback section of the compressed video.
  • the steps of the method or algorithm described in connection with the embodiments of the present disclosure may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof.
  • the software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which this disclosure pertains.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시는 사용자 제스처 기반 반응형 영상 생성 장치 및 방법에 관한 것으로, 외부 장치와 통신을 수행하는 통신모듈; 사용자의 제스처를 기반으로 하는 반응형 영상을 생성하기 위한 적어도 하나의 프로세스를 저장하는 저장모듈; 및 적어도 하나의 대상체가 포함된 기초영상이 입력되면, 상기 적어도 하나의 대상체 중 특정 대상체를 지정하고, 상기 기초영상 상에서 상기 특정 대상체와 관련한 재생구간을 설정하고, 상기 재생구간에 포함된 복수의 프레임으로 구성되는 압축영상을 생성하고, 상기 특정 대상체의 특성 변화에 따라 입력조작의 패턴을 결정하고, 상기 복수의 프레임에서 상기 특정 대상체를 기준으로 터치 영역을 각각 설정하고, 상기 각각의 터치 영역에 상기 입력조작의 패턴을 적용하여 반응형 영상을 생성하는 제어모듈을 포함할 수 있다.

Description

사용자 제스처 기반 반응형 영상 생성 장치 및 방법
본 개시는 반응형 영상 생성 장치 및 방법에 대한 것으로, 보다 상세하게는, 본 개시는 사용자 제스처 기반 반응형 영상 생성 장치 및 방법에 관한 것이다.
최근 영상촬영기술이 매우 발전하고 있다. 캠코더, 디지털카메라뿐만 아니라 스마트폰 등의 이동단말기도 높은 해상도의 영상을 촬영할 수 있다. 또한, 360도 카메라, 3D영상 카메라 등이 등장하고 있다.
영상은 영상촬영장치에 의해 촬영되어 특정한 포맷으로 저장되고, 재생 가능한 단말기에 의해 재생된다. 영상 재생은 시청자와 상호작용(Interaction)이 없이 일방적으로 시간순서대로 제공된다. 즉, 시청자는 재생되는 영상을 통해 시각적인 감각만을 느낄 수 있다.
이러한 영상을 사용자의 다양한 제스처(gestrue)를 기반으로 하는 입력조작에 따라 반응하는 반응형 영상으로 구현하여 제공함으로써, 사용자의 흥미를 유발할 수 있도록 하는 기술이 개발될 필요가 있다.
본 개시는 사용자의 다양한 제스처(gestrue)를 기반으로 하는 입력조작에 따라 반응하는 반응형 영상으로 구현하여 제공함으로써, 사용자의 흥미를 유발하여 관심도를 높이고, 전달력 및 홍보 효과를 극대화할 수 있도록 하는 사용자 제스처 기반 반응형 영상 생성 장치 및 방법을 제공함에 있다.
한편, 본 개시는 사용자가 반응형 영상을 기반으로 특정 제스처를 수행함에 따라 입력조작이 감지되면, 해당 대상체에 대해 그 특정 제스처에 맵핑된 효과가 반응형 영상 내에서 재생될 수 있도록 하는 사용자 제스처 기반 반응형 영상 생성 장치 및 방법을 제공함에 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 본 개시의 일 측면에 따른 사용자 제스처 기반 반응형 영상 생성 장치는, 외부 장치와 통신을 수행하는 통신모듈; 사용자의 제스처를 기반으로 하는 반응형 영상을 생성하기 위한 적어도 하나의 프로세스를 저장하는 저장모듈; 및 상기 적어도 하나의 프로세스를 기반으로 상기 사용자의 제스처를 기반으로 하는 상기 반응형 영상을 생성하기 위한 동작을 수행하는 제어모듈을 포함하며, 상기 제어모듈은, 적어도 하나의 대상체가 포함된 기초영상이 입력되면, 상기 적어도 하나의 대상체 중 특정 대상체를 지정하고, 상기 기초영상 상에서 상기 특정 대상체와 관련한 재생구간을 설정하고, 상기 재생구간에 포함된 복수의 프레임으로 구성되는 압축영상을 생성하고, 상기 특정 대상체의 특성 변화에 따라 입력조작의 패턴을 결정하고, 상기 복수의 프레임에서 상기 특정 대상체를 기준으로 터치 영역을 각각 설정하고, 상기 각각의 터치 영역에 상기 입력조작의 패턴을 적용하여 반응형 영상을 생성하고, 상기 입력조작의 패턴은, 드래그(drag), 로테이트(rotate), 러버(rubber), 핀치(pinch) 및 스프레드(spread) 중 어느 하나를 기반으로 구성될 수 있다.
한편, 본 개시의 일 측면에 따른 사용자 제스처 기반 반응형 영상 생성 방법은, 적어도 하나의 대상체가 포함된 기초영상이 입력되면, 상기 적어도 하나의 대상체 중 특정 대상체를 지정하는 단계; 상기 기초영상 상에서 상기 특정 대상체와 관련한 재생구간을 설정하는 단계; 상기 재생구간에 포함된 복수의 프레임으로 구성되는 압축영상을 생성하는 단계; 상기 특정 대상체의 특성 변화에 따라 입력조작의 패턴을 결정하는 단계; 상기 복수의 프레임에서 상기 특정 대상체를 기준으로 터치 영역을 각각 설정하는 단계; 및 상기 각각의 터치 영역에 상기 입력조작의 패턴을 적용하여 반응형 영상을 생성하는 단계를 포함하고, 상기 입력조작의 패턴은, 드래그(drag), 로테이트(rotate), 러버(rubber), 핀치(pinch) 및 스프레드(spread) 중 어느 하나를 기반으로 구성될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 개시의 전술한 과제 해결 수단에 의하면, 사용자의 다양한 제스처(gestrue)를 기반으로 하는 입력조작에 따라 반응하는 반응형 영상으로 구현하여 제공함으로써, 사용자의 흥미를 유발하여 관심도를 높이고, 전달력 및 홍보 효과를 극대화할 수 있도록 한다.
한편, 본 개시에 의하면, 사용자가 반응형 영상을 기반으로 특정 제스처를 수행함에 따라 입력조작이 감지되면, 해당 대상체에 대해 그 특정 제스처에 맵핑된 효과가 반응형 영상 내에서 재생될 수 있도록 한다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 반응형 영상 생성 장치의 구성을 나타내는 블록도이다.
도 2는 본 개시의 일 실시예에 따른 반응형 영상 생성 방법을 나타내는 순서도이다.
도 3은 본 개시의 일 실시예에 따른 반응형 영상 생성 방법에서 압축영상을 생성하는 동작을 구체적으로 나타내는 순서도이다.
도 4는 본 개시의 일 실시예에 따라 기초영상으로부터 복수의 프레임을 추출하여 압축영상을 생성하는 일 예시를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 반응형 영상 생성 방법에서 입력조작의 패턴을 결정하는 동작을 구체적으로 나타내는 순서도이다.
도 6은 본 개시의 일 실시예에 따른 반응형 영상 생성 방법에서 복수의 프레임 상에 각각의 터치 영역을 설정하는 동작을 구체적으로 나타내는 순서도이다.
도 7은 본 개시의 일 실시예에 따라 복수의 프레임 상에 결합하는 가상레이어를 생성하는 동작을 구체적으로 나타내는 순서도이다.
도 8은 본 개시의 일 실시예에 따라 복수의 세부셀로 가상레이어를 분할하는 동작을 구체적으로 나타내는 순서도이다.
도 9는 본 개시의 일 실시예에 따라 복수의 프레임에서 각각의 세부셀에 대응되는 프레임을 상호 맵핑하는 동작을 개략적으로 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따라 드래그의 방식을 기반으로 구성되는 입력조작의 패턴을 위한 가상레이어의 일 예시를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따라 로테이트의 방식을 기반으로 구성되는 입력조작의 패턴을 위한 가상레이어의 일 예시를 나타내는 도면이다.
도 12는 본 개시의 일 실시예에 따라 핀치 또는 스프레드의 방식을 기반으로 구성되는 입력조작의 패턴을 위한 가상레이어의 일 예시를 나타내는 도면이다.
도 13은 본 개시의 일 실시예에 따라 러버의 방식을 기반으로 구성되는 입력조작의 패턴을 위한 가상레이어의 일 예시를 나타내는 도면이다.
도 14 및 도 15는 본 개시의 일 실시예에 따라 드래그의 방식을 기반으로 구성되는 입력조작의 패턴이 적용되어 구현된 반응형 영상의 일 예시를 나타내는 도면이다.
도 16 내지 도 18은 본 개시의 일 실시예에 따라 로테이트의 방식을 기반으로 구성되는 입력조작의 패턴이 적용되어 구현된 반응형 영상의 일 예시를 나타내는 도면이다.
도 19는 본 개시의 일 실시예에 따라 스프레드의 방식을 기반으로 구성되는 입력조작의 패턴이 적용되어 구현된 반응형 영상의 일 예시를 나타내는 도면이다.
도 20은 본 개시의 일 실시예에 따라 핀치의 방식을 기반으로 구성되는 입력조작의 패턴이 적용되어 구현된 반응형 영상의 일 예시를 나타내는 도면이다.
도 21은 본 개시의 일 실시예에 따라 러버의 방식을 기반으로 구성되는 입력조작의 패턴이 적용되어 구현된 반응형 영상의 일 예시를 나타내는 도면이다.
도 22는 본 개시의 일 실시예에 따라 복수의 프레임에서 특정 대상체를 기준으로 터치 영역을 각각 설정하기 위한 다양한 방식을 설명하기 위한 도면이다.
도 23 내지 도 26은 본 개시의 일 실시예에 따른 반응형 영상을 생성 시에 제공자 단말의 사용자 인터페이스를 통해 입력되는 입력조작의 패턴 및 그 입력조작의 패턴에 대응하여 설정되는 터치 영역의 일 예를 나타내는 도면이다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다. 각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들을 설명하기에 앞서, 몇몇 용어를 아래와 같이 설명하기로 한다.
이하 설명에서 사용되는 용어에 대하여 정의하면 하기와 같다.
본 개시에서 '반응형 영상'은, 영상을 제공받는(사용하는) 사용자(즉, 시청자)의 특정한 입력조작에 상응하는 형태로 변화 또는 재생되는 영상을 의미한다. 예를 들어, 촬영된 기초영상(원본영상)의 특정한 움직임에 대응되는 사용자의 입력조작이 연결되어, 사용자의 조작에 따라 해당 영상 내의 물체가 움직이는 것과 같이 재생되는 영상을 의미할 수 있다.
본 개시에서 '반응형 영상 생성 장치(100)'로 한정하여 설명하였으나, 이는 반응형 영상을 생성하여 사용자에게 제공하고자 하는 제공자의 단말(제공자 단말)로서, 연산처리를 수행할 수 있는 다양한 장치들을 모두 포함할 수 있다. 즉, 반응형 영상 생성 장치(100)는 서버, 컴퓨터 및/또는 휴대용 단말기를 더 포함하거나, 또는 그 중 어느 하나의 형태가 될 수 있으며, 이를 한정하지 않는다.
여기에서, 상기 서버는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
본 개시에서 '입력조작'은, 반응형 영상을 생성 또는 재생하기 위해 반응형 영상 생성 장치 또는 사용자 단말의 입력수단을 통해 수신되는 사용자의 영상에 대한 조작을 의미한다. 예를 들어, 상기 입력조작은 마우스 또는 터치스크린과 같은 입력수단을 통해 영상 내 특정한 지점 또는 영역에 입력될 수 있는 조작(예를 들어, 클릭 조작, 드래그(drag) 조작, 로테이트(rotate) 조작, 핀치(pinch) 조작, 스프레드(spread) 조작, 러버(rubber) 조작, 특정 시간 이상의 접촉터치 조작, 포스터치 조작(즉, 터치스크린 또는 터치패드에 기 설정된 세기의 압력을 가하는 터치조작) 등)을 포함할 수 있다. 또한, 예를 들어, 상기 입력조작은, 반응형 영상 생성 장치 또는 사용자 단말이 구비하는 센서(예를 들어, 가속도센서, 자이로센서 등)를 입력수단으로 하여 획득될 수 있는 단말기 자체의 배치상태 또는 움직임 등을 포함할 수 있다.
본 개시에서 '대상체'는 사용자에 의해 조작될 물체를 의미한다. 예를 들어, 기초영상이 사용자가 손으로 특정한 물체를 만지는 동작을 촬영한 영상인 경우, 그 대상체는 사용자에 의해 만져지는 물체를 의미한다. 또한, 특정한 사람의 움직임을 촬영한 영상인 경우, 상기 대상체는 영상 내의 사람일 수 있다.
본 개시에서 '조작체'는 영상 내에서 대상체에 조작을 수행하는 것을 의미한다. 예를 들어, 영상 내에서 손으로 가방 또는 배게를 만지거나 누르는 경우, 조작체는 가방 또는 배게를 만지는 손을 의미한다.
본 개시에서 '기초영상'은 반응형으로 구현되지 않은 최초의 원본 영상을 의미한다. 즉, 기초영상은 일반적인 촬영방식으로 생성된 동영상 또는 공간상의 대상체 위치별로 영상프레임을 저장한 복수의 영상프레임 조합이 해당된다.
본 개시에서 '압축영상'은 기초영상을 반응형 영상으로 구현하기 위해 중복되지 않은 최소 움직임이 포함된 프레임으로만 구성된 영상을 의미한다. 예를 들어, 기초 영상에 동일한 움직임이 반복적으로 포함된 경우, 압축영상은 반복되는(또는 중복되는) 움직임을 삭제하고 하나만 남긴 것이다. 또한, 예를 들어, 기초영상에 제1 위치에서 제2 위치로의 움직임과 제2 위치에서 제1 위치로의 움직임을 모두 포함하는 경우, 압축영상은 제1 위치에서 제2 위치로 움직이는 기초영상만으로 남기고, 제2 위치에서 제1 위치로의 움직임은 남겨진 기초영상을 역방향으로 재생할 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 본 개시의 일 실시예에 따른 반응형 영상 생성 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 반응형 영상 생성 장치(이하, '생성 장치'라 칭함)(100)는 통신모듈(110), 저장모듈(130) 및 제어모듈(150)을 포함하여 구성될 수 있다.
통신모듈(110)은 적어도 하나의 사용자 단말과 적어도 하나의 정보 또는 데이터를 송수신한다. 여기서, 적어도 하나의 사용자 단말은 반응형 영상과 관련한 각종 서비스를 제공받고자 하는 사용자의 단말로서, 플랫폼, 웹 페이지 등을 통해 반응형 영상과 관련한 각종 서비스를 이용할 수 있으며, 그 제공 방식 및 수단을 한정하지 않는다.
또한, 통신모듈(110)은 그 외 다른 장치들과의 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
저장모듈(130)은 반응형 영상을 생성하기 위한 적어도 하나의 프로세스는 물론, 반응형 영상과 관련한 각종 서비스를 제공하기 위해 필요한 적어도 하나의 프로세스를 저장한다. 뿐만 아니라, 저장모듈(130)은 그 외 다른 동작을 수행하기 위한 프로세스들을 더 저장할 수 있으며, 이를 한정하지 않는다.
저장모듈(130)은 생성 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 저장모듈(130)은 생성 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application), 생성 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 생성 장치(100)의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 저장모듈(130)에 저장되고, 생성 장치(100) 상에 설치되어, 제어모듈(150)에 의하여 생성 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
특히, 저장모듈(130)은 적어도 하나의 기초영상 및 그 적어도 하나의 기초영상을 기반으로 생성된 적어도 하나의 반응형 영상이 저장된다. 이때, 기초영상이 저장된 폴더 내에 각종 반응형 영상 생성파일이 함께 포함되어 있거나 데이터베이스 내에 해당하는 반응형 영상 생성파일이 매칭될 수 있다. 이로써, 기초영상 재생 시에 해당하는 반응형 영상 생성파일을 함께 재생하여 반응형 영상으로 구현 가능하도록 한다.
또한, 저장모듈(130)은 복수개의 기초영상 및/또는 복수개의 반응형 영상에 대한 세트 정보와, 각 세트 내에 포함된 복수개의 기초영상 및/또는 복수개의 반응형 영상에 대한 선택 순서에 기반한 재생패턴정보가 저장될 수도 있다. 이때, 재생패턴정보는 복수개의 기초영상 또는 복수개의 반응형 영상에 대해 선택될 수 있는 순서에 대응하는 각각의 재생 패턴을 포함한다.
제어모듈(150)은 응용 프로그램과 관련된 동작 외에도, 통상적으로 생성 장치(100)의 전반적인 동작을 제어할 수 있다. 제어모듈(150)은 앞서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 저장모듈(130)에 저장된 응용 프로그램을 구동함으로써, 사용자들에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
이하, 도면들을 참고하여, 본 개시와 관련된 제어모듈(150)의 구체적인 동작에 대해 상세히 설명한다.
도 2는 본 개시의 일 실시예에 따른 반응형 영상 생성 방법을 나타내는 순서도이다.
도 2를 참조하면, 제어모듈(150)은 적어도 하나의 대상체가 포함된 적어도 하나의 기초영상이 입력되고, 상기 적어도 하나의 대상체 중 특정 대상체가 지정되면(S210), 상기 기초영상 내에서 상기 지정된 특정 대상체와 관련한 재생구간을 설정한다(S220).
이때, 상기 특정 대상체는 상기 기초영상의 제공자에 의해 미리 지정된 것일 수도 있고, 본 생성 장치(100)의 사용자에 의해 지정될 수도 있으나, 상기 기초 영상 내에서 특성 변화가 감지되는 특정 대상체를 자동으로 지정할 수도 있다. 상기 특성 변화는 움직임 변화, 해상도 변화, 선명도 변화 중 적어도 하나를 포함할 수 있다.
또한, 제어모듈(150)은 상기 특정 대상체의 특성 변화가 나타나는 구간을 재생구간으로서 자동 설정할 수도 있고, 외부의 지시나 입력 또는 사용자 설정에 따라 재생구간이 설정될 수도 있다.
그 다음으로, 제어모듈(150)은 상기 설정된 재생구간에 포함된 복수의 프레임으로 구성되는 압축영상을 생성하고(S230), 상기 특정 대상체의 특성 변화에 따라 입력조작의 패턴을 결정한다(S240).
그 다음으로, 제어모듈(150)은 상기 복수의 프레임에서 상기 특정 대상체를 기준으로 터치 영역을 각각 설정하고(S250), 상기 설정된 각각의 터치 영역에 상기 입력조작의 패턴을 적용하여 최종적으로 반응형 영상을 생성한다(S260).
여기서, 상기 생성된 압축영상은 상기 설정된 재생구간 내에서 중복되지 않은 상기 특정 대상체의 최소 움직임이 포함된 복수의 프레임으로 구성된 영상이다.
또한, 상기 입력조작은 연속되는 터치제스처를 기반으로 하고, 상기 입력조작의 패턴은 드래그(drag), 로테이트(rotate), 핀치(pinch), 스프레드(spread) 및 러버(rubber) 중 어느 하나를 기반으로 구성될 수 있다.
도 3은 본 개시의 일 실시예에 따른 반응형 영상 생성 방법에서 압축영상을 생성하는 동작을 구체적으로 나타내는 순서도로서, 도 2의 S230 단계를 구체적으로 도시한 것이다.
도 3을 참조하면, 제어모듈(150)은 상기 재생구간에 포함된 전체 프레임 중 기 설정된 시간 간격에 기초하여 복수의 프레임을 추출한다(S231).
이때, 기 설정된 시간 간격은 제공자 또는 사용자에 의해 설정 및 변경될 수 있는 것으로, 적어도 하나의 기초영상 각각에 대해 상이하게 적용될 수도 있고, 모든 기초영상에 동일하게 적용될 수도 있다. 그러나, 이는 하나의 실시예일 뿐, 하나의 기초영상에 포함된 대상체의 상태 변화가 많은 구간에서는 짧은 시간 간격으로 프레임을 추출하고, 상태 변화가 적은 구간에서는 비교적 긴 시간 간격으로 프레임을 추출하도록 할 수도 있다.
그 다음으로, 제어모듈(150)은 S231 단계에 의해 추출된 복수의 프레임을 시간순으로 순차적으로 배열함으로써 압축영상을 생성할 수 있다(S232).
도 4는 본 개시의 일 실시예에 따라 기초영상으로부터 복수의 프레임을 추출하여 압축영상을 생성하는 일 예시를 나타내는 도면이다.
도 4를 참조하면, 일 예로, 6초 분량의 기초영상(10)이 입력되었고, 상기 기초영상(10)에 대해서 2초 간격으로 프레임을 추출하도록 설정된 경우라면, 제어모듈(150)은 기초영상(10)의 전체 프레임(F1~F6) 중 2초 간격 마다 프레임을 추출할 수 있고, 그 결과, 전체 프레임 중 F2, F4 및 F6가 추출되고, 그 복수의 프레임(F2, F4 및 F6)으로 구성된 압축영상(20)을 생성할 수 있다.
도 5는 본 개시의 일 실시예에 따른 반응형 영상 생성 방법에서 입력조작의 패턴을 결정하는 동작을 구체적으로 나타내는 순서도로서, 도 2의 S240 단계를 구체적으로 도시한 것이다.
도 5를 참조하면, 제어모듈(150)은 복수의 프레임에 포함된 특정 대상체의 특성 변화를 감지한다(S241).
만약, 상기 감지된 특성 변화가 상기 특정 대상체의 위치 또는 크기 변화에 해당하는 경우(제1 경우)라면, 제어모듈(150)은 드래그, 로테이트, 핀치 및 스프레드 중 어느 하나의 터치제스처 방식을 기반으로 구성되는 입력조작의 패턴을 결정한다(S242).
한편, 상기 감지된 특성 변화가 특정 대상체의 선명도 변화에 해당하는 경우(제2 경우)라면, 제어모듈(150)은 러버 터치제스처 방식을 기반으로 구성되는 입력조작의 패턴을 결정한다(S243).
도 6은 본 개시의 일 실시예에 따른 반응형 영상 생성 방법에서 복수의 프레임 상에 각각의 터치 영역을 설정하는 동작을 구체적으로 나타내는 순서도로서, 도 2의 S250 단계를 구체적으로 도시한 것이다.
도 6을 참조하면, 제어모듈(150)은 상기 압축영상에 포함된 복수의 프레임 상에 결합하는 가상레이어를 생성하고(S251), 복수의 세부셀로 가상레이어를 분할한다(S252).
그 다음으로, 제어모듈(150)은 상기 복수의 프레임에서 각각의 세부셀에 대응되는 프레임을 상호 맵핑한다(S253).
즉, 시간의 흐름에 따라 변화하는 대상체의 위치를 기반으로 복수의 세부셀을 설정하고, 그 변화하는 대상체의 위치에 따라 복수의 세부셀 각각에 대응하는 프레임을 맵핑하는 것이다.
도 7은 본 개시의 일 실시예에 따라 복수의 프레임 상에 결합하는 가상레이어를 생성하는 동작을 구체적으로 나타내는 순서도로서, 도 6의 S251 단계를 구체적으로 도시한 것이다.
도 7을 참조하면, 제어모듈(150)은 상기 복수의 프레임 각각에서 상기 특정 대상체에 대한 특징점을 인식하고(S2511), 그 각각의 특징점의 위치를 파악하여 특정 대상체의 이동경로를 확인한다(S2522).
이때, 특징점은 대상체의 특정 부분(중심, 말단 등)에 대해 인식될 수도 있으나, 이를 한정하지는 않는다.
그 다음으로, 제어모듈(150)은 S2522 단계에 의해 확인된 이동경로를 포함하도록 가상레이어를 생성한다(S2513).
도 8은 본 개시의 일 실시예에 따라 복수의 세부셀로 가상레이어를 분할하는 동작을 구체적으로 나타내는 순서도로서, 도 6의 S252 단계를 구체적으로 도시한 것이다.
도 8을 참조하면, 제어모듈(150)은 S2511 단계에 의해 인식된 각각의 특징점의 위치를 S2513 단계에 의해 생성된 가상레이어 상에 투영하고(S2521), 상기 각각의 특징점의 위치 사이를 분할하여 복수의 세부셀을 생성한다(S2522).
이때, 복수의 세부셀은 동일한 크기로 생성될 수도 있고, 서로 상이한 크기로 생성될 수도 있다. 예를 들어, 그 대상체의 상태가 변화하는 속도에 대응하는(비례하여) 각 세부셀의 크기가 결정될 수 있다.
만약, 상태 변화가 빠른 재생구간에 대해서는 작은 크기의 세부셀을 갖도록 하고, 상태 변화가 비교적 느린 재생구간에 대해서는 다른 세부셀 보다 큰 크기의 세부셀을 갖도록 할 수 있다.
도 9는 본 개시의 일 실시예에 따라 복수의 프레임에서 각각의 세부셀에 대응되는 프레임을 상호 맵핑하는 동작을 개략적으로 나타내는 도면이다.
도 9를 참조하면, 압축영상(20)이 7개의 프레임으로 구성되어 있고, 그 7개의 프레임(21)에 공통적으로 포함된 대상체가 2개 존재하는 경우, 제어모듈(150)은 상기 2개의 대상체(22, 23)에 대한 가상레이어(30)를 각각 생성한다. 즉, 제어모듈(150)은 제1 대상체에 대한 제1 가상레이어(31)와 제2 대상체에 대한 제2 가상레이어(32)를 생성할 수 있다.
한편, 7개의 프레임 각각에서 그 2개의 대상체 각각의 특징점의 위치를 기반으로 제1 가상레이어(31) 및 제2 가상레이어(32)에 포함된 각 세부셀에 대응되는 프레임을 맵핑하는 것이다.
상기 반응형 영상이 사용자 단말에 디스플레이되어 재생될 시, 사용자가 제1 가상레이어(31) 및 제2 가상레이어(32) 각각에 포함된 세부셀을 터치하여 스프레드 동작을 수행하면, 그 7개의 프레임을 순방향 재생하고, 사용자가 제1 가상레이어(31) 및 제2 가상레이어(32) 각각에 포함된 세부셀을 터치하여 핀치 동작을 수행하면, 그 7개의 프레임을 역방향 재생한다.
제어모듈(150)은 그 복수의 프레임에서 각각의 세부셀에 대응되는 프레임을 상호 맵핑한다(S253).
도 10은 본 개시의 일 실시예에 따라 드래그의 방식을 기반으로 구성되는 입력조작의 패턴을 위한 가상레이어의 일 예시를 나타내는 도면이다.
도 10을 참조하면, 대상체의 이동경로를 따라 복수의 세부셀(1번 내지 10번)이 생성된다. 사용자가 사용자 단말을 통해 복수의 세부셀 중 어느 하나의 세부셀을 터치하여 입력조작을 수행하면, 제어모듈(150)은 최초 터치된 세부셀에 맵핑된 프레임을 시작으로 그 이후 이어지는 세부셀들에 맵핑된 프레임들까지를 순차적으로 재생시킴으로써 사용자의 입력조작에 반응함을 나타낸다.
다만, 제어모듈(150)은 사용자가 가장 마지막 세부셀인 10번 세부셀을 터치한 경우에는 이어지는 세부셀이 없기 때문에 반응하지 않는다.
다시 말해, 최초 터치된 세부셀이 가장 첫번째 세부셀이 아니더라도 연속적으로 이어지는 세부셀이 존재하는 경우에는, 최초 터치된 세부셀에 맵핑된 프레임부터 연속적인 터치 동작에 대응하여 순차적으로 재생되어 반응할 수 있다.
앞서 설명한 도 10과 같이 드래그의 방식을 기반으로 구성되는 입력조작 및 그 입력조작의 패턴에 대응하여 설정되는 터치 영역의 일 예는 도 23의 (a) 및 (b)를 통해 확인할 수 있다.
도 11은 본 개시의 일 실시예에 따라 로테이트의 방식을 기반으로 구성되는 입력조작의 패턴을 위한 가상레이어의 일 예시를 나타내는 도면이다.
도 11을 참조하면, 가상레이어는 원형 또는 타원형으로 생성되고, 그 원형 또는 타원형 영역을 복수의 세부셀(1번 내지 6번)로 분할할 수 있다.
구체적으로, 제어모듈(150)은 압축영상에 포함된 재생구간의 프레임 개수에 비례하여 360°를 N개의 각도 구간으로 나누고, 원형 또는 타원형 영역 내에서 사용자가 터치를 통해 입력조작을 수행하면, 그 영역의 중점을 기준으로 터치점의 각도를 산출하여 해당하는 각도 구간에 연동된 프레임을 표시할 수 있다.
한편, 제어모듈(150)은 압축영상에 포함된 재생구간의 프레임 개수에 360°를 N개의 각도 구간으로 나누고, 원형 또는 타원형 영역 내에서 두 개의 손가락으로 터치를 시작하면, 두 터치점을 이은 선의 각도를 산출하여 해당하는 각도 구간에 연동된 프레임을 표시할 수도 있다.
또한, 제어모듈(150)은 압축영상에 포함된 재생구간의 프레임 개수에 비례하여 N개의 터치 영역(RMD slice)으로 분할해서, 각 터치 영역을 터치했을 때 그 터치 영역에 맵핑 프레임을 표시할 수도 있다.
한편, 로테이트의 방식을 기반으로 구성되는 입력조작의 패턴을 위한 가상레이어가 마지막 세부셀(6번)이 첫번째 세부셀(1번)과 이어지도록 설정된 경우에는 사용자가 마지막 세부셀을 터치했다하더라도, 첫번째 세부셀에 맵핑된 프레임부터 연속적인 터치 동작에 대응하여 순차적으로 재생되어 반응할 수 있다.
또한, 이 경우에는 회전 방향을 사전에 정의하여 해당 방향으로 터치 동작이 수행되면, 제어모듈(150)은 최초 터치된 세부셀에 맵핑된 프레임부터 순방향으로 재생하고, 해당 방향의 반대 방향으로 터치 동작이 수행되면, 최초 터치된 세부셀에 맵핑된 프레임부터 역방향으로 재생함으로써 반응한다.
그러나, 도 11은 마지막 세부셀(6번)이 첫번째 세부셀(1번)과 이어지도록 설정된 가상레이어를 도시하였으나, 이는 하나의 실시예일 뿐, 일회적으로 회전 가능하도록 설정될 수도 있다. 즉, 마지막 세부셀(6번)이 첫번째 세부셀(1번)과 이어져 계속적인 프레임 재생이 이뤄지지 않도록 할 수 있다. 때문에, 사용자가 터치를 통한 입력조작을 이어서 여러번 수행한다 하더라도, 일회적으로 회전 가능하도록 기 설정된 경우에는 도 10에서와 마찬가지로, 제어모듈(150)은 최초 터치된 세부셀에 맵핑된 프레임을 시작으로 1회 회전 반경을 넘지 않도록 마지막 세부셀에 맵핑된 프레임까지만 재생을 수행하고 이후 터치를 통합 입력조작에 대해서는 무시할 수 있다.
이를 위해, 제어모듈(150)은 하나 또는 2개의 터치점의 절대 각도를 사용하는 대신, 인접한 영역 또는 각도 구간으로 회전할 때마다 회전 각도를 누적하여 몇 도(°)를 회전했는지를 기록할 수도 있다.
나아가, 제어모듈(150)은 회전 각도를 누적하여 기록하도록 함에 따라, 360°를 넘어가는 회전에 대해서도 지원할 수 있어 반복되어 이어지는 터치 동작을 통해 여러 번 감겨있는 로프를 푸는 동작을 하거나 나사를 여러바퀴 돌려서 조이는 반응형 영상을 구현할 수도 있다.
한편, 제어모듈(150)은 360°를 압축영상에 포함된 프레임 개수로 나누는 게 아니라, 영상의 내용(즉, 영상 속 조작대상의 회전 각도)에 따라 제공자가 특정 각도를 설정해서 해당 각도만큼의 조작만으로 압축영상의 모든 프레임을 재생하도록 할 수도 있다.
앞서 설명한 도 11과 같이 로테이트의 방식을 기반으로 구성되는 입력조작 및 그 입력조작의 패턴에 대응하여 설정되는 터치 영역의 일 예는 도 24의 (a) 및 (b)를 통해 확인할 수 있다.
도 12는 본 개시의 일 실시예에 따라 핀치 또는 스프레드의 방식을 기반으로 구성되는 입력조작의 패턴을 위한 가상레이어의 일 예시를 나타내는 도면이다.
이 핀치 또는 스프레드의 방식을 기반으로 구성되는 입력조작의 패턴은 일련의 두 개의 터치점 쌍(pair)들의 좌표를 이용해서 그 영역과 각 쌍에 속한 터치점 사이의 거리를 이용해서 두 손가락을 오무리거나(pinch) 벌리는(spread) 조작을 지원하는 방식이다.
도 12를 참조하면, 제어모듈(150)은 터치점 쌍 사이의 거리를 기반으로 표시할 프레임을 산출할 수 있다. 만약, 연속된 터치 동작을 기록해서 입력하는 경우, 압축영상에 포함된 프레임의 간격(예: 30fps 영상의 경우 1/30초)마다 해당 프레임에 해당하는 터치점 쌍을 기록하고, 일련의 터치점 쌍 사이의 거리(s1, s2, s3, …를 해당 프레임 표시의 기준으로 삼을 수 있다.
이로써, 제어모듈(150)은 터치 영역 안에 두 개의 터치점이 들어오면 재생을 시작하며, 이후 터치점 쌍 사이의 거리가 기록된 일련의 터치점 쌍 사이의 거리보다 작거나(pinch) 클(spread) 경우에 그에 맵핑된 프레임을 재생하여 표시한다.
여기서, 터치 영역은 핀치의 경우 일련의 터치점 쌍 중에서 가장 거리가 먼 터치점 쌍이 그리는 직사각형 영역으로 하고, 스프레드의 경우 가장 거리가 가까운 터치점 쌍이 그리는 직사각형으로 하되, 직사각형의 가로나 세로가 특정 크기 미만이 될 경우, 최소값을 적용하여 해당 직사각형 영역이 손가락으로 터치하기에 너무 좁거나 얇지 않도록 한다.
한편, 터치 영역을 설정해서 입력하는 경우, 제어모듈(150)은 사용자의 입력(예: 두 손가락을 통한 pinch 혹은 spread 동작)을 통해서 터치 영역의 최대 크기와 핀치 또는 스프레드의 방향을 입력받고, 상기 입력된 터치 영역의 크기와 최소 터치 영역 사이의 거리를 압축영상에 포함된 프레임의 개수로 나누어 그 나뉘어진 각각의 구간에 대응하는 프레임을 재생하여 표시할 수 있다.
한편, 도 12를 참조하면, 재생시 기준이 되는 터치점 쌍(가장 거리가 먼 쌍)의 방향을 반영하는 방식이 적용될 수 있다. 구체적으로, 입력되는 터치점 쌍 사이의 거리만을 기준으로, 위에 기록된 기준에 의해서 프레임을 재생하여 표시하도록 할 수 있다. 이 경우, 방향성이 없어서 이를테면 화면을 확대하고 축소하는 데에는 적합하지만, 벌리고 오무리는 방향성이 있는 물리적인 사물에 적용하면 손가락의 움직임과 물체의 움직임이 일치하지 않을 수 있다.
한편, 제어모듈(150)은 기준이 되는 터치점 쌍 사이의 선분을 기준으로, 입력되는 각 터치점 쌍의 좌표를 그 선분에 연직방향으로 투영한 후, 계산되는 거리를 기준으로 프레임을 재생하여 표시할 수 있다. 즉, 방향성이 강하게 적용되어 위의 경우와 정반대의 장단점을 갖는다.
앞서 설명한 도 12와 같이 로테이트의 방식을 기반으로 구성되는 입력조작 및 그 입력조작의 패턴에 대응하여 설정되는 터치 영역의 일 예는 도 25의 (a) 및 (b)를 통해 확인할 수 있다.
도 13은 본 개시의 일 실시예에 따라 러버의 방식을 기반으로 구성되는 입력조작의 패턴을 위한 가상레이어의 일 예시를 나타내는 도면이다.
도 13을 참조하면, 특정 영역 안에서 터치를 시작해서 손가락을 떼지 않고 연속적으로 임의의 방향으로 이동할 때, 제어모듈(150)은 방향과 상관없이 이동거리의 총합(d1+d2+…과 미리 설정된 러빙(Rubbing)의 최대치 사이의 비례에 따라 영상 프레임을 재생하여 표시할 수 있다.
상기 러빙(Rubbing) 최대치를 해당 영역의 크기(D)로 설정해서, 압축영상에 포함된 프레임의 갯수가 N이라고 할 때, 제어모듈(150)은 상기 이동거리의 총합이 D/N일 때마다 다음 프레임을 재생하여 표시할 수 있다.
이때, 해당 영역의 크기에 배수를 적용함으로써 같은 정도만큼 문질렀을 때 얼마만큼의 프레임이 재생되는지를 조정하도록 할 수도 있다.
상기 해당 영역의 모양은 원형이거나, 직사각형 등 다른 형태일 수도 있으며, 이때, 그 영역의 모양에 따라 크기를 가로, 세로, 넓이 등으로 미리 정의할 수 있다.
예를 들어, 상기 러빙(Rubbing) 최대치를 특정한 임의의 거리(X)로 설정해서, 압축영상에 포함된 프레임의 갯수가 N이라고 할 때, 제어모듈(150)은 상기 이동거리의 총합이 X/N일 때마다 다음 프레임을 재생하여 표시할 수 있다.
한편, 특정 영역 안에서 터치를 시작해서 손가락을 떼지 않고 연속적으로 임의의 방향으로 이동할 때, 제어모듈(150)은 상기 방향과 상관없이 이동이 일어난 시간의 총합과 미리 설정된 러빙(Rubbing)의 최대 시간 사이의 비례에 따라 프레임을 재생하여 표시하도록 할 수도 있다.
예를 들어, 러빙(Rubbing) 최대 시간을 T초로 설정하고, 압축영상에 포함된 프레임의 갯수가 N이라고 할 때, 제어모듈(150)은 터치 동작을 통해 이동이 일어난 시간의 총합이 T/N일 때마다 다음 프레임을 재생하여 표시할 수 있다.
앞서 설명한 도 13과 같이 러버의 방식을 기반으로 구성되는 입력조작 및 그 입력조작의 패턴에 대응하여 설정되는 터치 영역의 일 예는 도 26의 (a) 및 (b)을 통해 확인할 수 있다.
한편, 도 10 내지 도 13을 수행함에 있어서, 사용자의 터치가 복수의 세부셀 내, 즉, 터치 영역 내에서 이뤄진 경우에만 입력조작을 수행할 수 있고, 입력조작을 수행 중에 터치 영역에서 벗어났다면 반응형 영상의 재생이 중단되거나 최초 프레임으로 원상복귀될 수 있다.
즉, 특정 각도 또는 터치 영역 내에서만 터치를 통한 입력조작을 수행할 수 있고, 최초로 터치된 터치 영역으로부터 이어지는 터치 영역까지만큼만 프레임을 재생해줄 수 있다. 예를 들어, 터치 영역으로서 8개의 복수의 세부셀을 형성한 경우, 사용자가 4번 세부셀부터 7번 세부셀 영역 내에서 터치를 통해 입력조작을 수행한 경우라면 4번 내지 7번 세부셀 각각에 맵핑된 프레임의 순차적으로 표시되어 재생될 수 있다.
도 14 및 도 15는 본 개시의 일 실시예에 따라 드래그의 방식을 기반으로 구성되는 입력조작의 패턴이 적용되어 구현된 반응형 영상의 일 예시를 나타내는 도면이다.
먼저, 도 14의 (a) 내지 (c)는 터치 동작에 따라 대상체(A)를 일정 방향으로 드래그하여 이동하도록 구성되는 입력조작의 패턴이 적용된 반응형 영상이다. 이때, 사용자가 입력조작의 패턴을 용이하게 확인할 수 있도록 가이드 바(B)를 더 구성할 수도 있다. 이 가이드 바(B)는 대상체(A)의 이동경로라고 볼 수 있다.
도 14에는 도시되지 않았으나, 그 대상체(A)의 이동경로를 포함하도록 가상레이어가 생성되는데, 이 가상레이어를 복수의 세부셀을 통해 분할한다. 도 14에는 가장 첫번째 세부셀(C)만을 도시하였으나, 이는 설명의 편의를 위한 것으로 사용자 단말 상에 디스플레이 될 시에는 이 세부셀이 보이지 않는다. 사용자는 첫번째 세부셀의 영역이 아니더라도 그 이동경로에 해당하는 영역 중 어느 한 곳을 터치한 상태에서 손가락을 떼지 않고 이동시킴으로써 대상체(A)가 이동경로를 따라 이동하는 액션이 재생되도록 할 수 있다.
한편, 도 15는 반응형 영상으로 구현된 부분 외에 적어도 하나의 기초영상을 함께 재생하도록 구성된 것으로, 여러 개의 대상체가 컨베이어 벨트를 통해 하나씩 이송되는 모습을 여러 각도에서 촬영한 도 15의 (a) 및 도 15의 (b)와 같은 기초 영상이 재생된 이후, 도 15의 (c)에서 사용자의 터치 동작을 통해 컨베이어 벨트를 터치한 상태에서 손가락을 떼지 않고 컨베이어 벨트의 이동경로에 따라 이동시킴으로써 여러 개의 대상체가 이동하는 액션이 재생되도록 할 수 있다.
도 16 내지 도 18은 본 개시의 일 실시예에 따라 로테이트의 방식을 기반으로 구성되는 입력조작의 패턴이 적용되어 구현된 반응형 영상의 일 예시를 나타내는 도면이다.
먼저, 도 16의 (a)는 태엽을 감는 액션이 재생되도록 구현된 반응형 영상으로서, 도 16의 (b)에 도시된 바와 같이, 사용자가 태엽 부분을 터치한 상태에서 손가락을 떼지 않고 회전 터치 동작을 수행하면, 도 16의 (c)에 도시된 바와 같이, 프레임이 순방향으로 재생되어 표시됨에 따라 태엽이 감기는 영상이 재생될 수 있고, 그 상태에서 사용자가 손가락을 떼면 프레임이 역방향으로 재생되어 표시됨에 따라 태엽이 풀리는 영상이 재생되도록 할 수 있다.
한편, 도 17의 (a)는 360°를 압축영상에 포함된 프레임 개수로 나누는 게 아니라, 특정 각도를 설정해서 해당 각도만큼의 터치 조작만으로 압축영상의 모든 프레임을 재생하도록 구성된 반응형 영상이다. 여기서, 특정 각도는 빨간색으로 표시된 부분으로서, 실제 사용자 인터페이스 상에는 표시되지 않으며, 단지 그 특정 각도에 따른 이동경로로 가이드 바가 더 표시될 뿐이다.
만약, 도 17의 (b)에 도시된 바와 같이, 사용자가 대관람차를 터치한 상태에서 손가락을 떼지 않고 특정 각도에 따른 이동 경로를 따라 회전 터치 동작을 수행하면, 도 17의 (c)에 도시된 바와 같이, 프레임이 순방향으로 재생되어 표시됨에 따라 대관람차가 회전하는 영상이 재생되도록 할 수 있다. 즉, 그 각도를 한정하였으나, 압축영상에 포함된 복수의 프레임 전체가 재생되도록 할 수 있다.
한편, 도 18의 (a)는 첫번째 세부셀과 마지막 세부셀이 계속적으로 이어져 터치 동작이 이뤄질 수 있도록 구성된 반응형 영상이다.
이때, 도 18의 (b) 및 (c)에 도시된 바와 같이, 사용자가 나사 부분을 터치한 상태에서 손가락을 떼지 않고 회전을 수회 수행한다면, 도 18의 (d)에 도시된 바와 같이, 나사가 돌아가며 잠기는 영상이 재생되도록 할 수 있다.
다시 말해, 도 17은 360° 미만의 로테이트 조작을 위한 것이고, 도 18은 360°를 초과하는 로테이트 조작을 위한 것이다.
도 19는 본 개시의 일 실시예에 따라 스프레드의 방식을 기반으로 구성되는 입력조작의 패턴이 적용되어 구현된 반응형 영상의 일 예시를 나타내는 도면이다.
도 19의 (a)는 복수의 접촉에 반응하도록 구성된 반응형 영상으로서, 도 19의 (b)에 도시된 바와 같이, 사용자가 복수의 터치를 통해 스프레드 동작을 수행하면, 도 19의 (c)에 도시된 바와 같이, 그 동작에 대응하여 이등분된 햄버거가 서로 반대 방향을 향하여 벌리는 영상이 재생(순재생)되도록 할 수 있고, 그 상태에서 사용자가 터치한 손가락을 떼면 이등분된 햄버거가 다시 오무려지는 영상이 재생(역재생)되도록 할 수도 있다.
도 20은 본 개시의 일 실시예에 따라 핀치의 방식을 기반으로 구성되는 입력조작의 패턴이 적용되어 구현된 반응형 영상의 일 예시를 나타내는 도면이다.
도 20의 (a) 또한, 도 19와 마찬가지로, 복수의 접촉에 반응하도록 구성된 반응형 영상으로서, 도 20의 (b)에 도시된 바와 같이, 사용자가 복수의 터치를 통해 핀치 동작을 수행하면, 도 20의 (c)에 도시된 바와 같이, 그 동작에 대응하여 대상체의 크기가 점점 축소되는 영상이 재생(순재생)되도록 할 수 있고, 그 상태에서 사용자가 터치한 손가락을 떼면 축소된 대상체가 다시 확대되는 영상이 재생(역재생)되도록 할 수도 있다.
도 21은 본 개시의 일 실시예에 따라 러버의 방식을 기반으로 구성되는 입력조작의 패턴이 적용되어 구현된 반응형 영상의 일 예시를 나타내는 도면이다.
도 21의 (a)을 참조하면, 흐릿하게 보이는 대상체에 대해 러버 동작을 수행하여 마치 유리에 맺힌 물기를 닦은 것과 같은 효과를 통해 선명도가 높은 대상체을 획득하도록 구현된 반응형이다.
즉, 도 21의 (b) 및 (c)에 도시된 바와 같이, 사용자가 대상체를 기준으로 하는 터치 영역을 터치한 상태에서 손가락을 떼지 않고 러버 동작을 수행하여 유리의 물기를 닦아내는데, 도 21의 (d)에 도시된 바와 같이, 그 러버 동작의 수행 횟수에 따라 압축영상에 포함된 모든 프레임을 순차적으로 재생하여 표시하도록 할 수 있다. 즉, 러버 동작을 통해 유리에 맺힌 물기가 서서히 닦여 나가는 것과 같은 효과를 위하여 그 러버 동작의 수행 횟수를 만족해야 다음 프레임을 재생하여 표시도록 하는 것이다.
뿐만 아니라, 러버 동작의 수행 횟수뿐만 아니라, 수행 범위까지도 설정하여, 그 설정된 수행 범위를 만족하는 경우에만 다음 프레임을 재생하여 표시하도록 할 수도 있다.
도 22는 본 개시의 일 실시예에 따라 복수의 프레임에서 특정 대상체를 기준으로 터치 영역을 각각 설정하기 위한 다양한 방식을 설명하기 위한 도면이다.
도 22를 참조하면, 메뉴얼 입력(MANUAL INPUT)과 같이 제공자가 직접 드래그 동작을 통해 입력조작을 수행함으로써, 가상레이어를 직접 생성하고, 그 가상레이어에 대한 터치 조작을 통해 복수의 세부셀 또한 형성하도록 할 수 있다. 이때, 그 복수의 세부셀 각각의 크기 및 형상 또한 터치 조작을 통해 설정할 수 있다.
한편, 경로 벡터(PATH VECTOR)와 같이 제공자가 직접 드래그 동작을 입력하지 않고, 그 대상체의 특성 변화를 분석하고, 그 분석 결과에 통해 확인한 이동경로를 따라 가상레이어를 생성하고, 그 압축영상에 포함된 프레임 갯수만큼 등간격으로 나누어 복수의 세부셀을 생성하거나, 그 이후 대상체의 특징점의 위치를 화면 상에서 조정함으로써 그 이동경로의 가속 또는 감속 움직임을 조정하도록 할 수도 있다. 이때, 대상체가 일정하게 감속 또는 가속한다면 ease-in, ease-out, bezier curve 등 수학적인 함수를 적용하여 어래 프레임 상의 위치를 한 번에 조정하도록 할 수도 있다.
비록, 도 22에는 드래그의 방식을 기반으로 하는 가상레이어를 생성하는 경우로 한정하여 도시하였으나, 회전의 방식을 기반으로 하는 가상레이어를 생성하는 경우에도 제공자가 직접 로테이트 동작을 통해 입력조작을 수행함으로써, 가상레이어를 직접 생성하고, 그 가상레이어에 대한 터치 조작을 통해 복수의 세부셀의 형성은 물론, 회전 방향 및 범위(각도)를 설정하도록 할 수 있다.
구체적으로, 기 설정된 원형 영역의 위치와 크기를 제공자가 조정도록 하거나, 그 제공자가 원호(arc)를 직접 그리면, 이를 바탕으로 회전 반경 및 위치(원형 영역), 회전 방향, 회전 범위 등을 산출하여 압축영상 내 프레임의 갯수에 따라 나누어 복수의 세부셀을 생성하도록 할 수 있다.
예를 들어, 360° 미만의 로테이트 조작의 경우, 복수의 세부셀을 선택하여 압축영상에 포함된 대상체의 움직임과 일치시키고, 나머지 영역에 대해서는 터치에 반응이 없도록 한다. 또한, 360°를 초과하는 로테이트 조작의 경우, 복수의 세부셀 간의 이동을 함께 저장하여 여러번 회전한 뒤에 이벤트를 발동하는 등의 조작이 가능하도록 한다.
한편, 제공자가 직접 핀치 또는 스프레드 동작을 통해 입력조작을 수행하면, 압축영상의 FPS 설정과 동일한 빈도(frame-per-second)로 터치 포인트 쌍(pair)를 추출해서 연속적인 크기 변화를 갖는 일련의 영역을 생성할 수 있다. 또한, 기 설정된 영역의 위치와 크기를 제공자가 조정할 수도 있다.
한편, 제공자가 직접 러버 동작을 통해 입력조작을 수행하면, 제공자가 원형 영역을 설정하고, 별도 UI를 통해서 배수(x1, x2, x0.5 등)를 설정하면, 그 설정된 원형 영역의 지름을 설정된 배수로 나눈 거리를 러빙 최대치로 적용한다.
예를 들어, 제공자가 직사각형 등 영역을 설정하고, 별도 UI를 통해서 배수(x1, x2, x0.5 등)를 설정하면, 그 설정된 영역으로 인해 미리 정의된 러빙 거리를 배수로 나눈 거리를 러빙 최대치로 적용하고, 제공자가 원형, 직사각형 등 러빙 영역을 정하고 별도의 UI로 임의의 거리(X) 혹은 임의의 시간(T)를 입력받은 후, 해당 거리만큼 이동하거나 해당 시간만큼 이동했을 경우를 러빙 최대치 또는 최대시간으로 적용하도록 한다. 또한, 기 설정된 영역의 위치와 크기를 제공자가 조정할 수도 있다.
만약, 사용자가 직접 터치 동작을 통해서 터치 조작을 설정할 때, 그 압축영상의 재생구간 내에 표현된 대상체의 전후 위치를 파악하기 위해서 첫번째 프레임과 마지막 프레임을 겹쳐서 표시할 수 있는 옵션(“Compare last frame”)을 제공할 수도 있다.
본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시가 속하는 기술분야의 통상의 기술자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 외부 장치와 통신을 수행하는 통신모듈;
    사용자의 제스처를 기반으로 하는 반응형 영상을 생성하기 위한 적어도 하나의 프로세스를 저장하는 저장모듈; 및
    상기 적어도 하나의 프로세스를 기반으로 상기 사용자의 제스처를 기반으로 하는 상기 반응형 영상을 생성하기 위한 동작을 수행하는 제어모듈을 포함하며,
    상기 제어모듈은,
    적어도 하나의 대상체가 포함된 기초영상이 입력되면, 상기 적어도 하나의 대상체 중 특정 대상체를 지정하고, 상기 기초영상 상에서 상기 특정 대상체와 관련한 재생구간을 설정하고,
    상기 재생구간에 포함된 복수의 프레임으로 구성되는 압축영상을 생성하고, 상기 특정 대상체의 특성 변화에 따라 입력조작의 패턴을 결정하고,
    상기 복수의 프레임에서 상기 특정 대상체를 기준으로 터치 영역을 각각 설정하고, 상기 각각의 터치 영역에 상기 입력조작의 패턴을 적용하여 반응형 영상을 생성하며,
    상기 입력조작의 패턴은,
    드래그(drag), 로테이트(rotate), 러버(rubber), 핀치(pinch) 및 스프레드(spread) 중 어느 하나를 기반으로 구성되는 것을 특징으로 하는,
    사용자 제스처 기반 반응형 영상 생성 장치.
  2. 제1항에 있어서,
    상기 제어모듈은,
    상기 압축영상을 생성 시에, 상기 재생구간에 포함된 전체 프레임 중 기 설정된 시간 간격에 기초하여 상기 복수의 프레임을 추출하고, 상기 복수의 프레임을 시간순으로 순차적으로 배열하여 상기 압축영상을 생성하는 것을 특징으로 하는,
    사용자 제스처 기반 반응형 영상 생성 장치.
  3. 제1항에 있어서,
    상기 입력조작은,
    연속되는 제스처를 기반으로 하는 것을 특징으로 하는,
    사용자 제스처 기반 반응형 영상 생성 장치.
  4. 제3항에 있어서,
    상기 제어모듈은,
    상기 특정 대상체의 특성 변화에 따라 입력조작의 패턴을 결정 시에,
    상기 특성 변화가 상기 특정 대상체의 위치 또는 크기 변화에 해당하는 경우, 상기 드래그, 상기 로테이트, 상기 핀치 및 상기 스프레드 중 어느 하나의 방식을 기반으로 구성되는 상기 입력조작의 패턴을 결정하고,
    상기 특성 변화가 상기 특정 대상체의 선명도 변화에 해당하는 경우, 상기 러버의 방식을 기반으로 구성되는 상기 입력조작의 패턴을 결정하는 것을 특징으로 하는,
    사용자 제스처 기반 반응형 영상 생성 장치.
  5. 제4항에 있어서,
    상기 제어모듈은,
    상기 터치 영역을 각각 설정 시에, 상기 복수의 프레임 상에 결합하는 가상레이어를 생성하고, 복수의 세부셀로 상기 가상레이어를 분할하고, 상기 복수의 프레임에서 각각의 세부셀에 대응되는 프레임을 상호 맵핑하는 것을 특징으로 하는,
    사용자 제스처 기반 반응형 영상 생성 장치.
  6. 제5항에 있어서,
    상기 제어모듈은,
    상기 가상레이어를 생성 시에, 상기 복수의 프레임 각각에서 상기 특정 대상체에 대한 특징점을 인식하고, 각각의 특징점의 위치를 파악하여 상기 특정 대상체의 이동경로를 확인하고, 상기 이동경로를 포함하도록 가상레이어를 생성하는 것을 특징으로 하는,
    사용자 제스처 기반 반응형 영상 생성 장치.
  7. 제6항에 있어서,
    상기 제어모듈은,
    상기 가상레이어를 분할 시에, 상기 각각의 특징점의 위치를 상기 가상레이어 상에 투영시키고, 상기 각각의 특징점의 위치 사이를 분할하여 상기 복수의 세부셀을 생성하는 것을 특징으로 하는,
    사용자 제스처 기반 반응형 영상 생성 장치.
  8. 제7항에 있어서,
    상기 제어모듈은,
    상기 가상레이어를 생성 시에, 상기 각각의 특징점의 위치가 제1 지점에서 제2 지점으로 이동하는 것으로 파악된 경우, 상기 제1 지점에서 상기 제2 지점으로의 이동방향을 기반으로 상기 복수의 세부셀 및 가상레이어의 형태를 결정하는 것을 특징으로 하는,
    사용자 제스처 기반 반응형 영상 생성 장치.
  9. 제8항에 있어서,
    상기 반응형 영상은,
    사용자 단말 상에 디스플레이되며, 상기 사용자의 제스처가 상기 입력조작의 패턴에 부합하는 경우, 상기 압축영상에 포함된 상기 복수의 프레임 중 상기 사용자의 제스처가 인지되는 세부셀에 맵핑된 프레임부터 재생 또는 역재생되는 것을 특징으로 하는,
    사용자 제스처 기반 반응형 영상 생성 장치.
  10. 장치에 의해 수행되는, 사용자 제스처 기반 반응형 영상 생성 방법에 있어서,
    적어도 하나의 대상체가 포함된 기초영상이 입력되면, 상기 적어도 하나의 대상체 중 특정 대상체를 지정하는 단계;
    상기 기초영상 상에서 상기 특정 대상체와 관련한 재생구간을 설정하는 단계;
    상기 재생구간에 포함된 복수의 프레임으로 구성되는 압축영상을 생성하는 단계;
    상기 특정 대상체의 특성 변화에 따라 입력조작의 패턴을 결정하는 단계;
    상기 복수의 프레임에서 상기 특정 대상체를 기준으로 터치 영역을 각각 설정하는 단계; 및
    상기 각각의 터치 영역에 상기 입력조작의 패턴을 적용하여 반응형 영상을 생성하는 단계를 포함하고,
    상기 입력조작의 패턴은,
    드래그(drag), 로테이트(rotate), 러버(rubber), 핀치(pinch) 및 스프레드(spread) 중 어느 하나를 기반으로 구성되는 것을 특징으로 하는,
    사용자 제스처 기반 반응형 영상 생성 방법.
PCT/KR2023/015419 2022-10-07 2023-10-06 사용자 제스처 기반 반응형 영상 생성 장치 및 방법 WO2024076204A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0128759 2022-10-07
KR20220128759 2022-10-07
KR1020230132328A KR20240049180A (ko) 2022-10-07 2023-10-05 사용자 제스처 기반 반응형 영상 생성 장치 및 방법
KR10-2023-0132328 2023-10-05

Publications (1)

Publication Number Publication Date
WO2024076204A1 true WO2024076204A1 (ko) 2024-04-11

Family

ID=90608454

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/015419 WO2024076204A1 (ko) 2022-10-07 2023-10-06 사용자 제스처 기반 반응형 영상 생성 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2024076204A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130128910A (ko) * 2012-05-18 2013-11-27 한국과학기술원 멀티터치 단말기에서 가상물체의 3차원 움직임 조작시스템 및 방법
US20140105463A1 (en) * 2011-05-31 2014-04-17 Google Inc. Method and system for motion detection in an image
US20150094127A1 (en) * 2013-09-30 2015-04-02 Zynga Inc. Swipe-direction gesture control for video games using glass input devices
KR20200032055A (ko) * 2015-08-13 2020-03-25 이철우 반응형 영상 생성방법 및 생성프로그램
KR20200125527A (ko) * 2019-04-26 2020-11-04 이철우 다중 반응형영상 제작방법, 다중 반응형영상 메타데이터 생성방법, 인간 행동을 이해하기 위한 상호 작용 데이터 분석 방법 및 이를 이용한 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140105463A1 (en) * 2011-05-31 2014-04-17 Google Inc. Method and system for motion detection in an image
KR20130128910A (ko) * 2012-05-18 2013-11-27 한국과학기술원 멀티터치 단말기에서 가상물체의 3차원 움직임 조작시스템 및 방법
US20150094127A1 (en) * 2013-09-30 2015-04-02 Zynga Inc. Swipe-direction gesture control for video games using glass input devices
KR20200032055A (ko) * 2015-08-13 2020-03-25 이철우 반응형 영상 생성방법 및 생성프로그램
KR20200125527A (ko) * 2019-04-26 2020-11-04 이철우 다중 반응형영상 제작방법, 다중 반응형영상 메타데이터 생성방법, 인간 행동을 이해하기 위한 상호 작용 데이터 분석 방법 및 이를 이용한 프로그램

Similar Documents

Publication Publication Date Title
CN111010510B (zh) 一种拍摄控制方法、装置及电子设备
WO2020042890A1 (zh) 视频处理方法、终端及计算机可读存储介质
WO2014030902A1 (en) Input method and apparatus of portable device
US9612710B2 (en) Storage medium having stored thereon image processing program and image processing apparatus
WO2015186964A1 (ko) 촬영 장치 및 촬영 장치의 비디오 생성방법
TW200945174A (en) Vision based pointing device emulation
WO2015020496A1 (ko) 동영상 편집을 위한 사용자 인터페이스의 제공장치, 그 제공방법 및 기록매체
WO2018074821A1 (ko) 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
WO2021056766A1 (zh) 视频截屏方法、终端及计算机可读存储介质
WO2021172832A1 (ko) 제스처 인식 기반의 영상 편집 방법 및 이를 지원하는 전자 장치
JP2004193933A (ja) 画像拡大表示方法・装置・メディア・プログラム
JP3657463B2 (ja) 動作認識システムおよび動作認識プログラムを記録した記録媒体
KR102128955B1 (ko) 스핀 이미지 생성 방법 및 그 장치
WO2024076204A1 (ko) 사용자 제스처 기반 반응형 영상 생성 장치 및 방법
CN103543825B (zh) 摄像机光标系统
CN111880660B (zh) 显示画面的控制方法、装置、计算机设备和存储介质
WO2018056587A1 (en) Electronic apparatus and controlling method thereof
WO2018048227A1 (ko) 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램
WO2019134606A1 (zh) 终端的控制方法、装置、存储介质及电子设备
JP2000276577A (ja) 画像感応型イベント発生装置
WO2020244085A1 (zh) 移动终端屏幕滚动方法、屏幕滚动装置及移动终端
JP4500036B2 (ja) 画像投影表示装置、画像投影表示方法および画像投影表示プログラム
WO2021246089A1 (ja) ジェスチャ認識装置、システム及びそのプログラム
WO2024076200A1 (ko) 반응형 영상을 생성하기 위한 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2024076201A1 (ko) 반응형 영상에 대한 입력조작의 의도 및 감정에 기반하여 반응형 영상을 재생하는 전자 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23875265

Country of ref document: EP

Kind code of ref document: A1