WO2018048227A1 - 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램 - Google Patents

다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램 Download PDF

Info

Publication number
WO2018048227A1
WO2018048227A1 PCT/KR2017/009837 KR2017009837W WO2018048227A1 WO 2018048227 A1 WO2018048227 A1 WO 2018048227A1 KR 2017009837 W KR2017009837 W KR 2017009837W WO 2018048227 A1 WO2018048227 A1 WO 2018048227A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
responsive
computer
input operation
dimensional
Prior art date
Application number
PCT/KR2017/009837
Other languages
English (en)
French (fr)
Inventor
이철우
Original Assignee
이철우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이철우 filed Critical 이철우
Priority to JP2019513893A priority Critical patent/JP6892498B2/ja
Priority to US16/331,475 priority patent/US11003264B2/en
Priority claimed from KR1020170114671A external-priority patent/KR102051981B1/ko
Publication of WO2018048227A1 publication Critical patent/WO2018048227A1/ko
Priority to US16/890,419 priority patent/US11360588B2/en
Priority to US17/744,415 priority patent/US12086335B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Definitions

  • the present invention relates to a multidimensional responsive image generating apparatus, a method and a program, and a multidimensional responsive image reproducing method and a program.
  • the image is captured by the image capturing apparatus, stored in a specific format, and reproduced by the reproducible terminal.
  • Video playback is provided unilaterally in chronological order without interaction with the viewer. That is, the viewer can feel only a visual sense through the reproduced image.
  • the present invention provides an apparatus, method and program for generating a multi-dimensional responsive image, which generates and provides an image to a user in response to a user's input operation by connecting an image frame corresponding to an operation on a specific region of an object, And to provide a multi-dimensional responsive image playback method and program.
  • a computer obtains a plurality of multi-dimensional image frame to form a base image, the base image is an image to apply a manipulation to the object to the object, the multi-dimensional image frame acquisition step;
  • the computer generates a three-dimensional cell combination based on a setting region in the base image and a specific frame density in the setting region, wherein the three-dimensional cell combination is configured to generate a plurality of detail cells to which different depth information and position information are assigned.
  • cell combination generation step And matching each image frame included in the base image with the corresponding detail cell, wherein the depth information is applied to a pressure intensity or input operation of an input operation applied to the responsive image.
  • the position information is information on a position on a two-dimensional space to which the input operation is applied to the responsive image
  • the setting region is a two-dimensional spatial region generated as a responsive image in an object.
  • the frame density is the number of depth information steps applied to a specific point in the base image.
  • the multi-dimensional image frame is obtained repeatedly by changing the position and pressure intensity of the manipulation is applied to a specific object using the operating object.
  • the multi-dimensional image frame acquisition step by extracting a reconstructed image to be restored after the input operation is applied to the entire image to the input operation to the object by the operating body, to obtain a plurality of image frames in the reconstructed image Characterized in that.
  • the method may further include designating the setting area to be generated as the responsive image.
  • the method may further include calculating a reconstruction variable of the object by recognizing a change in the base image after applying a pressure of a specific intensity.
  • the multidimensional responsive image generating program executes the above-mentioned multidimensional responsive image generating method in combination with hardware and is stored in a medium.
  • a method of reproducing a multidimensional responsive image the computer receiving an input operation for an object from a user; And extracting, by the computer, an image frame matched to a detail cell corresponding to the position information and the depth information in the responsive image according to the position information and the depth information of the input operation received at each playback time.
  • the depth information is information on a pressure intensity of an input operation applied to the responsive image or a time length during which the input operation is applied, and the position information is located at a position in a two-dimensional space where the input operation is applied to the responsive image.
  • the detailed cell corresponds to a specific image frame corresponding to the position information and the depth information of the input operation, and constitutes a three-dimensional cell combination in the responsive image.
  • the computer when a continuous input operation is input to an adjacent region, the computer may be configured to combine the plurality of image frames having different depth information corresponding to a specific point on the screen or to the current input operation and image frames provided at a previous time point. And performing morphing on the basis of the combination of the image frames in the corresponding subcell to generate the final reproduced image frame.
  • the method may further include adjusting, by the computer, a reconstruction variable from the responsive image to adjust the change rate of the image frame.
  • the method may further include adjusting a change of an image frame according to an input operation on an object by calculating a time elapsed from a specific time point at which the computer executes the responsive image; It further includes.
  • the multidimensional responsive image reproducing program executes the above-mentioned multidimensional responsive image reproducing method in combination with hardware and is stored in a medium.
  • the user may provide a realistic reproduced image.
  • the morphing may be performed based on the basic video frame stored in each subcell to provide a realistic final playback video frame corresponding to the manipulation provided on the screen by the user. Therefore, since it is not necessary to store different image frames for each type of movement, the storage capacity can be significantly reduced.
  • FIG. 1 is a flowchart of a method of generating a multidimensional responsive image according to an embodiment of the present invention.
  • FIG. 2 is an exemplary view of generating a plurality of divided images to divide a reactive generation region into a plurality of reproduction zones according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of a method of generating a multi-dimensional responsive image, further comprising a step of designating a responsive generation region according to an embodiment of the present invention.
  • FIG. 4 is a flowchart of a method of generating a multi-dimensional responsive image, further comprising calculating a reconstruction variable according to an embodiment of the present invention.
  • FIG. 5 is a flowchart of a multi-dimensional responsive image playback method according to an embodiment of the present invention.
  • FIG. 6 is an exemplary diagram illustrating a process of determining a detail cell to extract an image frame based on position information and depth information of an input operation according to an embodiment of the present invention.
  • FIG. 7 is a flow chart of a multi-dimensional responsive image playback method further comprising an image frame morphing process according to an embodiment of the present invention.
  • FIG. 8 is a flow chart of a multi-dimensional responsive image playback method further comprising the step of adjusting the image frame playback to a reconstruction variable according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a method of controlling a video frame change according to an input operation by reflecting a change in an object state over time according to an embodiment of the present invention.
  • the 'computer' includes all the various devices capable of performing arithmetic processing.
  • a computer can be a desktop PC, a notebook, as well as a smartphone, a tablet PC, a cellular phone, a PCS phone (Personal Communication Service phone), synchronous / asynchronous
  • the mobile terminal of the International Mobile Telecommunication-2000 (IMT-2000), a Palm Personal Computer (PC), a Personal Digital Assistant (PDA), and the like may also be applicable.
  • the computer may also be a server computer that receives information from a client.
  • a computer may be represented as a terminal or a client.
  • the 'responsive image' means an image in which an image is reproduced in a form corresponding to a specific input operation of a user (ie, a viewer) watching the image.
  • a responsive image is an image in which a movement of touching an object is reproduced, such as an input operation on a touch screen, when an input operation in which a user touches a specific object (for example, a pillow) is applied to the touch screen.
  • the responsive image may include an image in which a movement of pressing an object and a movement reconstructed after the user's input operation are reproduced when an input operation of pressing a specific object by the user is applied to the touch screen. it means.
  • a 'base image' refers to a combination of a plurality of image frames used for generating a responsive image.
  • the 'first client' refers to a client device of a first user (ie, a responsive image producer) that generates a responsive image.
  • 'second client' refers to a client device of a second user (that is, a responsive image user) that plays a responsive image.
  • the 'input operation' refers to an operation of an image of a user received through an input means of a computer that plays a responsive image.
  • the input operation may be an operation (for example, a click operation, a drag operation, a touch touch operation, a poster touch (Force Touch) that may be input to a specific point or area in the image through an input means such as a mouse or a touch screen. ) Operation (ie, a touch operation for applying a specific pressure to the touch screen or touch pad).
  • the input operation may be arranged or moved of the terminal itself, which can be obtained by using a sensor (for example, an acceleration sensor, a gyro sensor, etc.) included in the computer (or the terminal) as an input means. It may include.
  • a sensor for example, an acceleration sensor, a gyro sensor, etc.
  • the 'object' refers to an object in a responsive image manipulated by a user.
  • the object refers to an object touched by the user.
  • the 'manipulator' refers to performing manipulation or motion on an object in an image.
  • the operating body refers to a hand touching the bag or the pillow.
  • FIG. 1 is a flowchart of a method of generating a multidimensional responsive image according to an embodiment of the present invention.
  • the method for generating a multidimensional responsive image may include: acquiring, by a computer, a plurality of multidimensional image frames forming a basic image (S200); Generating a three-dimensional cell combination based on a setting area in the base image and a specific frame density in the setting area (S600); And matching image frames corresponding to each subcell (S1000).
  • S200 basic image
  • S600 Specific frame density in the setting area
  • S1000 matching image frames corresponding to each subcell
  • the computer acquires a plurality of multi-dimensional image frames forming a basic image (S200). That is, the computer may acquire a multidimensional image frame through a camera, and extract a plurality of image frames from one image that has already been acquired. For example, the computer may capture an image of applying a manipulation to a specific object through a specific manipulation object (eg, a hand, a stick, a pressure providing device, etc.).
  • a specific manipulation object eg, a hand, a stick, a pressure providing device, etc.
  • a computer may use an operating body to change an image that applies a specific operation (for example, touching or pressing operation) to a specific object while changing only one of several conditions.
  • the computer may be configured to move any one of two-dimensional space movements (ie, X-axis and Y-axis movements) and Z-axis movements (ie, pressure to press the object) of the operating body with the positions of the object and the camera fixed. It is possible to perform image capturing while changing only the condition of.
  • a basic image moving only in one direction along the second axis (eg, X axis) is obtained, and the first image is obtained.
  • the base image is continuously acquired while changing the position or pressing pressure on the axis in turn.
  • the computer obtains an image of moving the manipulator along the X-axis while fixing the pressure pressing the object through the camera and fixing the value on the Y-axis, and the pressure applied to the object and the position on the Y-axis while fixing the pressure on the object.
  • the base image acquisition may be repeated while changing the position on the y-axis by the minimum unit and moving again in the x-axis direction.
  • the computer may repeat the process of moving the two-dimensional space by changing the pressure applied to the object by the operating body. Through this, the computer can obtain the final base image for generating the responsive image by acquiring the image frames corresponding to the pressing intensity at each position in the specific two-dimensional space.
  • the computer may generate and store the base image, and the computer may include a second axis (eg, pressure applied to the object and a first axis (ie, Y axis)).
  • a second axis eg, pressure applied to the object
  • a first axis ie, Y axis
  • the image of the manipulator After the movement in the direction of the second axis (that is, the X axis) is completed in a state where the image position is fixed, the image of the manipulator returns to the initial position of the first axis to adjust the position on the first axis (that is, the Y axis).
  • the image frame in the process of moving in the opposite direction on the second axis to change the position in the first axis direction is unnecessary to generate a responsive image. If it is determined, the image frame moved in the direction opposite to the direction of acquiring the image frame is deleted without storing, thereby reducing the file size by reducing the number of image frames included in the responsive image.
  • the computer stores only the reconstructed image when the base image is generated and stored.
  • the computer stores only the reconstructed image in which the state of a specific point of the object is restored to the state in which the external force is not applied after the external force is applied.
  • the computer deletes the reproducing range applied by the operating body, and stores the reproducing range (ie, the reconstructed image) restored after the external force is applied by the operating body.
  • the computer matches each image frame during the reconstruction process to the detail cells for each depth information of a specific point. Through this, the computer can acquire an image frame in which the surface state of a specific point changes without being obscured by the operating body.
  • the computer manipulates an area where the operating object is located and is covered by using image processing using a frame in which only an object exists (for example, by cutting and pasting an object image of a portion corresponding to the operating object).
  • An image frame in which only an object exists without a sieve can be generated and stored.
  • the computer stores image frames for each operation type to provide different image frames according to a user's operation type. For example, when the user applies a pressure to a specific point of the responsive image and then operates to remove the pressure, the object area other than the point where the pressure is applied should not change. On the other hand, when the manipulator moves in a specific direction while applying pressure, it is necessary to provide an image frame for restoring the area where the manipulator passes after the manipulator has already been pressurized.
  • the computer stores different image frames to be provided according to operation types (for example, touch operation for a specific point and operation of dragging a certain pressure on the touch screen). To this end, the computer may determine the operation type input on the touch screen and determine the type of image frame to be provided in turn.
  • the computer generates a three-dimensional cell combination in the responsive generation area based on a setting area in the base image and a specific frame density in the setting area (S600).
  • the setting area is a two-dimensional space area in which an operation is applied by the operating object in the object.
  • the frame density refers to the number of frames matching a specific point. That is, the frame density corresponds to the number of depth (Z-axis depth) steps applied to the setting region or the number of steps of pressure intensity applied. In the case of an object whose shape is deformed by an external force, the depth in the Z-axis direction varies according to the pressure strength, and thus the frame density may correspond to any one of the depth step and the pressure intensity step.
  • the frame density may be set by a first user or may be set in a computer (ie, a first client).
  • the computer may set the frame density based on the number of pressure intensity steps detected by the posterior sensor.
  • the number of pressure intensity steps detected by the posterior sensor is applied as the maximum frame density, and when the number of image frames actually obtained is smaller than the frame density, the computer matches the same image frame to a plurality of consecutive detail cells. can do.
  • the computer forms a three-dimensional cell combination based on the number of subdivided subunits of the setting area and the frame density.
  • the cell combination is divided into L pieces at unit intervals in the X-axis direction, M pieces at unit intervals in the Y-axis direction, and divided into N pieces to correspond to the frame density in the Z-axis direction, and includes three subcells.
  • Each detail cell is given a corresponding point in the setting area and a pressure intensity, and is matched with a position for storing a corresponding video frame. That is, the computer generates a cell combination in an array, and connects the image frame storage positions corresponding to individual cells in the array.
  • the computer matches and stores the image frame corresponding to each subcell (S1000). That is, the computer separately stores each subcell based on the position in the two-dimensional space of each image frame in the base image and the pressure or Z-axis depth applied to the object.
  • the computer sets the pressure intensity in response to receiving the pressure number from the user.
  • the computer may perform an input operation during the reproduction of the base image to directly determine the location information and the depth information corresponding to each image frame to match the detail cell.
  • the computer recognizes the position on the two-dimensional space to which the input operation is applied through image recognition, and the corresponding position on the screen to match the detail cell on the screen Decide on
  • the computer In another embodiment, as shown in FIG. 2, the computer generates a split image for dividing each image frame so as to divide the responsive generation area into a specific number of playback zones and matches the points on the corresponding touch screens. .
  • the computer divides one acquired image frame into a plurality of divided images by dividing lines for dividing the reactive generation area, and individually matches the divided images to respective points on the touch screen. Then, as one or more operations are input on the entire touch screen, the computer extracts and combines the divided images corresponding to the operations of each playback zone and provides them on the touch screen.
  • a plurality of regions divided based on one image frame source can be implemented to be multi-played, and a computer generates a response at a plurality of points when an input operation is input to a plurality of points by a user. Responsive images can be generated.
  • the step of specifying a setting area to be generated in response further includes.
  • the computer may designate a range including a region where an appearance change occurs in the object in the base image as the setting region. For example, when the first user applies an external force to an object (eg, padding) using a manipulator (eg, a hand), the computer may display a portion where the appearance is changed by the external force (ie, the padding is pressed down). Only a portion) may be determined as an area intended to be made responsive by the first user.
  • the computer may designate a setting area by recognizing only the appearance change of the object without movement of the operation object.
  • the computer extracts the object image itself that is present in the plurality of image frames in the base image and designates it as the setting area. That is, since the object surface includes a region to be generated responsively, the computer may designate the entire range of the object included in the base image as the setting region.
  • the computer tracks the movement of the operating body (for example, the hand) to set a range including a movement path of the operating body (for example, the hand). To be specified. That is, the computer extracts an area in which the operating body moves and designates it as a setting area.
  • the computer receives an input for setting a responsive area for a specific image frame from a first user.
  • the computer may extract and provide a specific image frame in the base image on the screen and receive a 2D range of an object to be designated as a setting area from the user.
  • the computer may provide a predetermined image frame and then set the area of the object through touch manipulation.
  • the computer can assign the setting area assigned to a specific frame to all frames the same.
  • the computer may designate an area in each image frame corresponding to the image of the setting area as the setting area after receiving the setting area in the specific image frame.
  • the reconstructed variable refers to a variable that causes the responsive image to be reconstructed as it is after the manipulation of a user having a specific pressure intensity on the touch screen for a movement in which the actual object is restored to a state in which no pressure is applied after a specific pressure is applied. do.
  • the computer ie, the first client calculates the reconstructed variable and then includes the reconstructed variable in the responsive image and provides the reconstructed variable to the second client, and the second client may reflect the reconstructed variable when playing the image frame of the responsive image as described below. Can be.
  • the second client may express the image similarly to the form in which the appearance of the actual object is restored.
  • the second client reproduces the image frame so that the image frame is sequentially changed according to the pressure change and the appearance is restored in the same manner as the movement of the actual object as the pressure is applied on the touch screen by applying the restoration variable.
  • the computer acquires a plurality of image frames to be restored after applying pressure to the object by the operating unit when generating the base image, and based on the hourly change of the object in the image frame Calculate the recovery variable.
  • the computer manipulates the object on the object.
  • the reconstructed variable is calculated by analyzing the change of the object in the area where the body moves (for example, the area where the hand passes when the user moves in a state where the hand is pressed with the pressure). In this way, the user does not have to perform a process of applying pressure to the object by using the manipulation unit to calculate the reconstructed variable, thereby easily generating a realistic responsive image.
  • the computer detects the type of the captured object or the movement of the operating object through image learning to determine a reconstructed variable corresponding to the object characteristic.
  • the computer may learn a type of an object or a movement of an operating object using a machine learning algorithm.
  • the machine learning algorithm includes a deep learning algorithm that performs learning based on a deep neural network.
  • the computer may identify an object included in the base image based on an image constructed from big data or obtained through crawling.
  • the computer accumulates the moving object movement (for example, hand movement) images included in the plurality of moving images and performs learning, and operates based on a plurality of frames corresponding to the moving object movement in the base image. Determine what action or manipulation the movement performed by the sieve is.
  • FIG. 5 is a flowchart of a multi-dimensional responsive image playback method according to an embodiment of the present invention.
  • the method for reproducing a multi-dimensional responsive image may include: receiving, by a second client, an input operation for an object from a second user (S1200); And sequentially providing image frames in the responsive image by the second client based on the input operation (S1400).
  • S1200 an input operation for an object from a second user
  • S1400 sequentially providing image frames in the responsive image by the second client based on the input operation
  • the second client receives an input operation for the object from the second user (S1200). That is, the second client acquires the detail cell condition corresponding to the input operation by the second user.
  • the second client inputs a position on the screen (ie, X coordinate and Y coordinate at the point where the user's input operation is applied) and depth information (ie, pressure data applied or time of contact with the screen through the input operation of the second user). Length).
  • the second client When a continuous input operation is applied by the second user, the second client acquires the location information and the depth information at unit time intervals. For example, when moving along a specific axial direction (for example, the X-axis direction or the Y-axis direction), the second client acquires changed position information and depth information at unit time intervals. In addition, for example, when receiving an input operation that moves while the pressure intensity is changed in a diagonal direction from the second user, the second client sequentially acquires the changed position information and depth information.
  • a specific axial direction for example, the X-axis direction or the Y-axis direction
  • the second client when receiving an input operation that moves while the pressure intensity is changed in a diagonal direction from the second user, the second client sequentially acquires the changed position information and depth information.
  • the second client Based on the input manipulation, the second client sequentially extracts or provides image frames in the responsive image (S1400). As the position information and the depth information of the input operation are changed, the computer extracts and continuously provides an image frame matched to the detail cell corresponding to the changed position information and the depth information.
  • the second client may be a position (for example, a finger applied to the input operation).
  • the detail cell corresponding to the applied pressure intensity or the contact time length is searched among the plurality of detail cells of the contacted position) and the image frame matched with the detail cell is extracted.
  • the second client selects a subcell of level 0 as contact is made without applying pressure at the point A, selects a subcell of level 1 based on the pressure level at point B, and selects a pressure level at point C. 4 levels of detail cells are selected.
  • the second client moves from point A to point C and sequentially provides image frames matched to each selected detail cell.
  • the second client which is a computer, may receive and play each video frame from the service server.
  • the second client sends the service server a position on the screen (e.g., a pixel position on the screen on which the second user's input operation was applied) and a pressure intensity measured by the pressure sensor, or the length of time in contact with the screen.
  • the service server searches for specific sub-cells in the cell combination based on this, and provides a matching image frame to the second client.
  • the second client extracts the image frame received from the service server on the screen.
  • the position information and the depth information of the input operation ie, the pressure strength or the contact time length
  • the position information and the depth information of the input operation ie, the pressure strength or the contact time length
  • the image frame corresponding to can be displayed, so that the image can be realized as if the user responded directly to the second user's operation.
  • the second client receives the entire cell combination of the responsive image from the service server or the first client, and then the position information and depth information (ie, the applied pressure strength or Based on time length), a specific subcell in a cell combination is searched for, and an image frame matched with this is extracted and displayed on the screen.
  • the position information and depth information ie, the applied pressure strength or Based on time length
  • the second client generates a video frame according to each input operation condition (ie, location information and depth information) as a database without having to separately provide an image reproduced for each input operation movement by the user.
  • each input operation condition ie, location information and depth information
  • Various object motions corresponding to the input manipulation of the second user may be implemented.
  • the second client may be differently determined in detail the cells to extract the frames to be sequentially reproduced according to the pressing method of the input operation.
  • the second client when a continuous operation is input to an adjacent region, the second client morphs based on a plurality of image frames corresponding to a specific point on the touch screen (ie, the screen). And generating a final playback image frame (S1300).
  • a computer stores an image frame obtained by manipulating an object in a first axis direction and a second axis direction as a specific pressure is applied by a user, the computer stores the image frame based on a plurality of image frames.
  • An image frame in which a morphing is performed is generated for a region other than a point where a touch manipulation is input at the time point. Through this, it is possible to generate a responsive image that changes naturally when the user operates.
  • the second client performs morphing based on the image frame provided at the first time point and the image frame provided at the second time point (the time when a specific time has elapsed from the first time point) as the position and pressure strength of the finger are changed. do. That is, the second client performs morphing using the image frame of the detail cell corresponding to the current input operation and one or more image frames previously provided. For example, the second client may generate the final playback image frame by applying an average value of the image frame of the first time point and the image frame of the second time point to the same point.
  • the final reproduced image frame corresponding to the movement may be generated through the correction. That is, by providing an image suitable for the motion provided by the second user, a reality can be provided, and various image frames are stored in a state in which only the basic video frame is matched and stored in each detail cell without the need to store the image frames for all the movements. You can save the space.
  • the second client may deform the image region within a predetermined range from the point where the input operation is input by the second user. That is, since the deformation occurs in the peripheral area as the pressure is applied to the specific point, the second client performs the peripheral area correction together.
  • the second client may correct the second client to be represented as continuously changing from the point at which the set input operation is applied to the end of the set peripheral area. For example, correction is performed to sequentially change the color based on the color value at the point where the input operation is applied and the color value at the end of the peripheral area.
  • the second client may utilize the video frame in the basic state where the input operation is not applied.
  • the second client may differently determine the peripheral region range to be corrected according to the pressure strength of the input operation. For example, when the object subjected to the input manipulation is a cushion, the area where the surface deformation occurs as the strong pressure is applied becomes wider, so that the second client according to the pressure intensity in order to provide a realistic feeling when the responsive image is played back. Determine the deformation range.
  • the method further includes the step of adjusting the image frame change by extracting the reconstructed variable from the responsive image (S1500). That is, the second client adjusts the speed at which the image frame is changed after an input operation is applied based on the reconstructed variable provided together with the responsive image. In this way, the image may be reproduced as when the actual object is manipulated.
  • the method further includes calculating a time elapse from a specific time point at which the second client executes the responsive image, and adjusting the change of the image frame according to an input operation on the object (S1600). .
  • a state change occurs as time elapses in reality, and thus the state change of the object (eg, fruit, bread, cement, etc.) whose deformation degree is changed according to pressure can be realized in a responsive image. Users can feel the change in hardness of the object over time through the responsive image.
  • the bread becomes hard as the bread becomes harder over time in the responsive image, and the cement or clay becomes hard as time passes. It can be implemented by changing to the last frame provided or adjusting the rate of change of the video frame.
  • an apparatus for generating a multidimensional responsive image includes a controller.
  • the controller performs a multi-dimensional responsive image generation method according to embodiments of the present invention.
  • an image taking unit that is, a camera for taking a basic image
  • the multi-dimensional responsive image generating method and the reproducing method according to the embodiments of the present invention described above may be implemented as a program (or an application) to be executed in combination with a computer which is hardware and stored in a medium.
  • the above-described program includes C, C ++, JAVA, machine language, etc. which can be read by the computer's processor (CPU) through the computer's device interface so that the computer reads the program and executes the methods implemented as the program.
  • Code may be coded in the computer language of. Such code may include functional code associated with a function or the like that defines the necessary functions for executing the methods, and includes control procedures related to execution procedures necessary for the computer's processor to execute the functions according to a predetermined procedure. can do.
  • the code may further include memory reference code for additional information or media required for the computer's processor to execute the functions at which location (address address) of the computer's internal or external memory should be referenced. have.
  • the code may be used to communicate with any other computer or server remotely using the communication module of the computer. It may further include a communication related code for whether to communicate, what information or media should be transmitted and received during communication.
  • the stored medium is not a medium for storing data for a short time such as a register, a cache, a memory, but semi-permanently, and means a medium that can be read by the device.
  • examples of the storage medium include, but are not limited to, a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like. That is, the program may be stored in various recording media on various servers to which the computer can access or various recording media on the computer of the user. The media may also be distributed over network coupled computer systems so that the computer readable code is stored in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램에 관한 것이다. 본 발명의 일실시예에 따른 다차원 반응형 영상 생성방법은, 컴퓨터가 기초영상을 형성하는 복수의 다차원 영상프레임을 획득하는 단계(S200); 상기 기초영상 내에 설정영역 및 상기 설정영역 내의 특정한 프레임밀도를 기반으로, 3차원의 셀조합을 생성하는 단계(S600); 및 각각의 세부셀에 대응되는 영상프레임을 매칭하는 단계(S1000);를 포함한다.

Description

다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램
본 발명은 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램에 관한 것이다.
최근 영상촬영기술이 매우 발전하고 있다. 캠코더, 디지털카메라뿐만 아니라 스마트폰 등의 이동단말기도 높은 해상도의 영상을 촬영할 수 있다. 또한, 360도 카메라, 3D영상 카메라 등이 등장하고 있다.
영상은 영상촬영장치에 의해 촬영되어 특정한 포맷으로 저장되고, 재생 가능한 단말기에 의해 재생된다. 영상 재생은 시청자와 상호작용(Interaction)이 없이 일방적으로 시간순서대로 제공된다. 즉, 시청자는 재생되는 영상을 통해 시각적인 감각만을 느낄 수 있다.
본 발명은 대상체의 특정영역에 대한 조작에 대응하는 영상프레임을 연결하여 둠에 따라 사용자의 입력조작에 부합하게 반응하는 영상을 생성하고 사용자에게 제공하는, 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램을 제공하고자 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일실시예에 따른 다차원 반응형 영상 생성방법은, 컴퓨터가 기초영상을 형성하는 복수의 다차원 영상프레임을 획득하되, 상기 기초영상은 대상체에 조작체로 조작을 가하는 영상인, 다차원 영상프레임 획득단계; 컴퓨터가 상기 기초영상 내에 설정영역 및 상기 설정영역 내 특정한 프레임밀도를 기반으로, 3차원의 셀조합을 생성하되, 상기 3차원 셀조합은, 상이한 깊이정보 및 위치정보가 부여된 복수의 세부셀을 포함하는 것인, 셀조합생성단계; 및 컴퓨터가 상기 기초영상에 포함된 각각의 영상프레임을 대응되는 상기 세부셀에 매칭하는 단계;를 포함하되, 상기 깊이정보는 상기 반응형 영상에 가해지는 입력조작의 압력세기 또는 입력조작이 가해지는 시간길이에 대한 정보이고, 상기 위치정보는 상기 반응형 영상에 상기 입력조작이 가해지는 2차원 공간 상 위치에 대한 정보이고, 상기 설정영역은 대상체 내에서 반응형 영상으로 생성되는 2차원 공간영역이고, 상기 프레임밀도는 상기 기초영상 내 특정지점에 적용되는 상기 깊이정보 단계의 개수이다.
또한, 다른 일실시예로, 상기 다차원 영상프레임은, 조작체를 이용하여 특정한 대상체에 조작이 가해지는 위치와 압력세기를 변경하면서 반복적으로 획득되는 것이다.
또한, 다른 일실시예로, 상기 다차원 영상프레임 획득단계는, 조작체로 대상체에 입력조작을 가하는 전체영상에서 입력조작이 가해진 후 복원되는 복원영상을 추출하여, 상기 복원영상 내 복수의 영상프레임을 획득하는 것을 특징으로 한다.
또한, 다른 일실시예로, 상기 반응형 영상으로 생성될 상기 설정영역을 지정하는 단계;를 더 포함한다.
또한, 다른 일실시예로, 특정한 세기의 압력이 가해진 후 기초영상 내의 변화를 인식하여 상기 대상체의 복원변수를 산출하는 단계;를 더 포함한다.
본 발명의 다른 일실시예에 따른 다차원 반응형 영상 생성프로그램은, 하드웨어와 결합되어 상기 언급된 다차원 반응형 영상 생성방법을 실행하며, 매체에 저장된다.
본 발명의 다른 일실시예에 따른 다차원 반응형 영상 재생방법은, 컴퓨터가 사용자로부터 대상체에 대한 입력조작을 수신하는 단계; 및 각 재생시점에 수신된 상기 입력조작의 위치정보 및 깊이정보에 따라, 상기 컴퓨터가 반응형 영상에 위치정보 및 깊이정보에 대응하는 세부셀에 매칭된 영상프레임을 추출하는 단계;를 포함하되, 상기 깊이정보는 상기 반응형 영상에 가해지는 입력조작의 압력세기 또는 입력조작이 가해지는 시간길이에 대한 정보이고, 상기 위치정보는 상기 반응형 영상에 상기 입력조작이 가해지는 2차원 공간 상 위치에 대한 정보이고, 상기 세부셀은 상기 입력조작의 위치정보 및 깊이정보에 대응하는 특정한 영상프레임이 매칭된 것으로서, 반응형 영상 내의 3차원 셀조합을 구성하는 것이다.
또한, 다른 일실시예로, 인접한 영역에 연속적인 입력조작이 입력되는 경우, 컴퓨터가 화면 상의 특정지점에 대응하는 깊이정보가 상이한 복수의 영상프레임 조합 또는 이전시점에 제공된 영상프레임과 현재 입력조작에 대응하는 세부셀 내의 영상프레임의 조합을 기반으로 몰핑을 수행하여 최종재생영상프레임을 생성하는 단계;를 더 포함한다.
또한, 다른 일실시예로, 컴퓨터가 상기 반응형 영상에서 복원변수를 추출하여 영상프레임 변화속도를 조절하는 단계;를 더 포함한다.
또한, 다른 일실시예로, 컴퓨터가 반응형 영상을 실행한 특정 시점으로부터의 시간경과를 산출하여, 대상체에 대한 입력조작에 따른 영상프레임 변화를 조절하는 단계; 를 더 포함한다.
본 발명의 다른 일실시예에 따른 다차원 반응형 영상 재생프로그램은, 하드웨어와 결합되어 상기 언급된 다차원 반응형 영상 재생방법을 실행하며, 매체에 저장된다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
첫째, 사용자에 의해 터치조작 시에 현실에서의 대상체 표면의 변화와 같게 반응형 영상을 재생함에 따라, 사용자에게 현실감있는 재생영상을 제공할 수 있다.
둘째, 영상에 대한 시청자들의 관심도를 높이며, 전달력을 극대화할 수 있는 효과가 있다. 이를 통해, 영상 내의 특정한 물체에 대한 홍보 효과를 높일 수 있다.
셋째, 물체를 쓰다듬는 등의 특정구간을 왕복 또는 특정동작을 반복하는 영상을 생성하는 경우, 특정한 제1방향으로 움직이는 일부 영상만을 획득한 후 사용자의 입력조작에 따라 반복 재생(예를 들어, 순방향 재생 및 역방향 재생을 반복)하도록 할 수 있다. 이를 통해, 반복되는 동작을 포함하는 영상의 저장용량을 줄일 수 있는 효과가 있다.
넷째, 각 세부셀에 저장되어 있는 기본영상프레임을 기반으로 몰핑을 수행하여 사용자에 의해 화면 상에 제공되는 조작에 부합하는 현실감있는 최종재생영상프레임을 제공할 수 있다. 따라서, 움직임 유형별로 다른 영상프레임을 저장하지 않아도 되므로, 저장용량을 현저히 줄여줄 수 있다.
도 1은 본 발명의 일실시예에 따른 다차원 반응형 영상 생성방법의 순서도이다.
도 2은 본 발명의 일실시예에 따라 반응형 생성영역을 복수의 재생구역으로 나누기 위해 복수의 분할이미지를 생성한 예시도면이다.
도 3은 본 발명의 일실시예에 따른 반응형 생성영역을 지정하는 과정을 더 포함하는, 다차원 반응형 영상 생성방법의 순서도이다.
도 4는 본 발명의 일실시예에 따른 복원변수를 산출하는 과정을 더 포함하는, 다차원 반응형 영상 생성방법의 순서도이다.
도 5는 본 발명의 일실시예에 따른 다차원 반응형 영상 재생방법의 순서도이다.
도 6은 본 발명의 일실시예에 따른 입력조작의 위치정보 및 깊이정보를 기반으로 영상프레임을 추출할 세부셀을 결정하는 과정을 나타낸 예시도면이다.
도 7는 본 발명의 일실시예에 따른 영상프레임 몰핑과정을 더 포함하는, 다차원 반응형 영상 재생방법의 순서도이다.
도 8은 본 발명의 일실시예에 따른 복원변수로 영상프레임 재생을 조절하는 과정을 더 포함하는, 다차원 반응형 영상 재생방법의 순서도이다.
도 9는 본 발명의 일실시예에 따른 시간 흐름에 따른 대상체 상태 변화를 반영하여 입력조작에 따른 영상프레임 변화를 조절하는 과정을 다차원 반응형 영상 재생방법의 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 '컴퓨터'는 연산처리를 수행할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 컴퓨터는 클라이언트로부터 정보를 수신하는 서버컴퓨터가 해당될 수도 있다. 이하, 본 명세서에서 컴퓨터는 단말기 또는 클라이언트로 표현될 수도 있다.
본 명세서에서 '반응형 영상'은, 영상을 시청하는 사용자(즉, 시청자)의 특정한 입력조작에 상응하는 형태로 영상이 재생되는 영상을 의미한다. 예를 들어, 반응형 영상은, 사용자에 의해 특정한 물체(예를 들어, 베개)를 만지는 형태의 입력조작이 터치스크린에 가해지면, 터치스크린에 대한 입력조작과 같게 물체를 만지는 움직임이 재생되는 영상을 의미한다. 또한, 예를 들어, 반응형 영상은, 사용자에 의해 특정한 물체를 누르는 형태의 입력조작이 터치스크린에 가해지면, 물체가 눌려지는 움직임과 사용자의 입력조작 이후에 다시 복원되는 움직임이 재생되는 영상을 의미한다.
본 명세서에서 '기초영상'은 반응형 영상 생성을 위해 이용되는 복수의 영상프레임 조합을 의미한다.
본 명세서에서 '제1클라이언트'는 반응형 영상을 생성하는 제1사용자(즉, 반응형 영상 제작자)의 클라이언트 장치를 의미한다.
본 명세서에서 '제2클라이언트'는 반응형 영상을 재생하는 제2사용자(즉, 반응형 영상 이용자)의 클라이언트 장치를 의미한다.
본 명세서에서 '입력조작'은, 반응형 영상을 재생하는 컴퓨터의 입력수단을 통해 수신되는 사용자의 영상에 대한 조작을 의미한다. 예를 들어, 상기 입력조작은 마우스 또는 터치스크린과 같은 입력수단을 통해 영상 내 특정한 지점 또는 영역에 입력될 수 있는 조작(예를 들어, 클릭 조작, 드래그 조작, 접촉터치 조작, 포스터치(Force Touch) 조작(즉, 터치스크린 또는 터치패드에 특정압력을 가하는 터치조작))을 포함할 수 있다. 또한, 예를 들어, 상기 입력조작은, 컴퓨터(또는 단말기)가 구비하는 센서(예를 들어, 가속도센서, 자이로센서 등)를 입력수단으로 하여 획득될 수 있는 단말기 자체의 배치상태 또는 움직임 등을 포함할 수 있다.
본 명세서에서 '대상체'는 사용자에 의해 조작되는 반응형 영상 내의물체를 의미한다. 예를 들어, 사용자가 손으로 특정한 물체를 만지는 동작을 촬영한 영상인 경우, 상기 대상체는 사용자에 의해 만져지는 물체를 의미한다.
본 명세서에서 '조작체'는 영상 내에서 대상체에 조작 또는 움직임(Motion)을 수행하는 것을 의미한다. 예를 들어, 영상 내에서 손으로 가방 또는 베개를 만지거나 누르는 경우, 조작체는 가방 또는 베개를 만지는 손을 의미한다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 다차원 반응형 영상 생성장치, 다차원 반응형 영상 생성방법, 다차원 반응형 영상 재생방법 및 프로그램에 대해 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 다차원 반응형 영상 생성방법의 순서도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 다차원 반응형 영상 생성방법은, 컴퓨터가 기초영상을 형성하는 복수의 다차원 영상프레임을 획득하는 단계(S200); 상기 기초영상 내에 설정영역 및 상기 설정영역 내의 특정한 프레임밀도를 기반으로, 3차원의 셀조합을 생성하는 단계(S600); 및 각각의 세부셀에 대응되는 영상프레임을 매칭하는 단계(S1000);를 포함한다. 이하, 각 단계에 대한 상세한 설명을 기술한다.
컴퓨터가 기초영상을 형성하는 복수의 다차원 영상 프레임을 획득한다(S200). 즉, 컴퓨터는 카메라를 통해 다차원 영상 프레임을 획득할 수 있고, 이미 획득된 하나의 영상에서 복수의 영상프레임을 추출할 수 있다. 예를 들어, 컴퓨터는 특정한 조작체(예를 들어, 손, 막대기, 공기압 제공장치 등)을 통해 특정한 대상체에 조작을 가하는 영상을 촬영할 수 있다.
상기 기초영상을 생성하는 방식의 일실시예로, 컴퓨터는 조작체를 이용하여 특정한 대상체에 특정한 조작(예를 들어, 만지는 조작, 누르는 조작)을 가하는 영상을 여러 조건 중 어느 하나만을 변경하면서 여러 번 획득한다. 즉, 컴퓨터는 대상체와 카메라의 위치는 고정한 상태에서 조작체의 2차원 공간 상 움직임(즉, X축 방향 움직임과 Y축 방향 움직임), Z축방향 움직임(즉, 물체를 누르는 압력) 중 어느 하나의 조건만을 변경하면서 영상 촬영을 수행할 수 있다.
예를 들어, 누르는 압력과 특정한 제1축(예를 들어, Y축) 상의 위치를 고정한 상태에서 제2축(예를 들어, X축)을 따라 일방향으로만 움직이는 기초영상을 획득하고, 제1축 상의 위치 또는 누르는 압력을 차례대로 변경하면서 기초영상을 계속해서 획득한다. 구체적으로, 컴퓨터는 카메라를 통해 대상체를 누르는 압력을 고정하고 Y축 상의 값을 고정한 상태에서 X축을 따라 조작체를 이동하는 영상을 획득하고, 대상체에 가하는 압력과 Y축 상의 위치를 고정한 상태에서 x축 방향으로의 이동이 완료되면 y축 상의 위치를 최소단위만큼 변경하여 다시 x축 방향으로 이동을 수행하면서 기초영상 획득을 반복할 수 있다. 또한, 제1축 상의 위치를 변경하면서 제2축을 따라서 이동하는 과정을 반복한 후, 컴퓨터는 조작체에 의해 대상체에 가해지는 압력을 변경하여 2차원 공간상을 이동시키는 과정을 반복할 수 있다. 이를 통해, 컴퓨터는 특정한 2차원 공간의 각 위치에서 누르는 세기에 부합하는 영상프레임을 각각 획득하여 반응형 영상 생성을 위한 최종기초영상을 생성할 수 있다.
또한, 상기 기초영상을 생성하는 방식의 다른 일실시예로, 컴퓨터는 기초영상 생성 및 저장 시에, 컴퓨터는 제2축(예를 들어, 대상체에 가하는 압력과 제1축(즉, Y축) 상의 위치를 고정한 상태에서 제2축(즉, X축) 방향으로의 이동이 완료된 후, 제1축(즉, Y축) 상의 위치를 조절하기 위해 제1축의 초기지점으로 조작체가 다시 복귀하는 영상을 저장하지 않고 삭제한다. 즉, 제1축방향의 위치 변경을 위해 제2축 상에서 반대방향으로 이동하는 과정의 영상프레임은 반응형 영상 생성에 불필요한 영상프레임이므로, 컴퓨터는 조작체의 움직임방향을 판단하여 영상프레임을 획득하는 방향과 반대방향으로 움직인 영상프레임을 저장하지 않고 삭제한다. 이를 통해 반응형 영상에 포함되는 영상프레임의 개수를 줄여서 파일 크기를 축소할 수 있다.
또한, 다른 일실시예로, 컴퓨터는 기초영상 생성 및 저장 시에 복원영상만을 저장한다. 컴퓨터가 대상체의 특정 지점의 상태가 외력이 인가된 후 외력이 가해지지 않은 상태로 복원되는 복원영상만을 저장한다. 구체적으로, 컴퓨터는 조작체에 의해 압력이 가해지는 재생범위를 삭제하고, 상기 조작체에 의한 외력이 가해진 후 복원되는 재생범위(즉, 복원영상)를 저장한다. 컴퓨터는 복원되는 과정의 각각의 영상프레임을 특정지점의 깊이정보별 세부셀에 각각 매칭한다. 이를 통해, 컴퓨터는 조작체에 가려지지 않고 특정지점의 표면상태가 변하는 영상프레임을 획득할 수 있다.
또한, 다른 일실시예로, 컴퓨터는 조작체가 위치하여 가려지는 영역을 대상체만 존재하는 프레임을 이용하여 이미지 프로세싱(예를 들어, 조작체에 대응하는 부분의 대상체 이미지를 잘라내어 붙이는 방식) 수행하여 조작체가 없이 대상체만 존재하는 영상프레임을 생성하여 저장할 수 있다.
또한, 다른 일실시예로, 컴퓨터는 사용자의 조작유형에 따라 상이한 영상프레임을 제공할 수 있도록, 조작유형별로 영상프레임을 저장한다. 예를 들어, 사용자가 반응형 영상의 특정지점에 대해 압력을 가한 후 압력을 제거하는 조작을 하는 경우, 압력이 가해지는 지점 이외의 대상체 영역은 변화가 발생하지 않아야 한다. 반면, 압력을 가하면서 특정방향으로 조작체가 이동하는 경우, 조작체에 의해 압력이 이미 가해진 후 조작체가 지나간 영역이 복원되는 영상프레임을 제공하여야 한다. 따라서, 컴퓨터는 조작유형별(예를 들어, 특정지점에 대해 터치조작, 터치스크린 상을 특정한 압력을 가하면서 드래그하는 조작)에 따라 상이한 영상프레임이 제공되도록 저장한다. 이를 위해, 컴퓨터는 터치스크린 상에 입력되는 조작유형을 판단하고 차례대로 제공하여야 할 영상프레임 유형을 결정할 수 있다.
그 후, 컴퓨터가 상기 기초영상 내에 설정영역 및 상기 설정영역 내의 특정한 프레임밀도를 기반으로, 반응형 생성영역 내에 3차원의 셀조합을 생성한다(S600). 상기 설정영역은 대상체 내에서 조작체에 의해 조작이 가해지는 2차원 공간영역이다. 상기 프레임밀도는 특정한 지점에 매칭되는 복수의 프레임 개수를 의미한다. 즉, 프레임밀도는 설정영역에 부여되는 깊이(Z축방향 깊이)단계 개수 또는 가해지는 압력세기의 단계 개수에 대응된다. 외력에 의해 형상이 변형되는 물체의 경우, 압력세기에 따라 Z축방향의 깊이가 달라지므로, 프레임밀도는 깊이 단계와 압력세기 단계 중 어느 하나에 대응될 수 있다.
상기 프레임밀도는 제1사용자에 의해 설정될 수도 있고, 컴퓨터(즉, 제1클라이언트)에 설정되어 있을 수 있다. 예를 들어, 컴퓨터는 포스터치 센서에서 감지하는 압력세기 단계 개수를 기반으로 프레임밀도를 설정할 수 있다. 예를 들어, 포스터치 센서에서 감지하는 압력세기 단계 개수가 최대 프레임밀도로 적용되고, 컴퓨터는 프레임밀도보다 실제 획득된 영상프레임 개수가 적은 경우에 연속되는 복수 개의 세부셀에 동일한 영상프레임이 매칭되도록 할 수 있다.
컴퓨터는 설정영역의 분할된 세부단위 개수와 프레임밀도를 기반으로 3차원의 셀조합을 형성한다. 셀조합은 X축 방향으로 단위간격으로 L개로 분할되고, Y축 방향으로 단위간격으로 M개로 분할되고, Z축방향으로 프레임밀도에 대응하도록 N개로 분할되어, 개의 세부셀을 포함한다. 각각의 세부셀은 설정영역 내의 해당 지점과 압력세기가 부여되어 있고, 이에 부합하는 영상프레임을 저장하는 위치와 매칭된다. 즉, 컴퓨터는 셀조합을 배열로 생성하고, 상기 배열 내 개별 셀에 대응되는 영상프레임 저장위치가 연결되도록 한다.
그 후, 컴퓨터는 각각의 세부셀에 대응되는 영상프레임을 매칭하여 저장한다(S1000). 즉, 컴퓨터는 기초영상 내 각 영상프레임의 2차원 공간 상의 위치와 대상체에 가해지는 압력 또는 Z축방향 깊이를 기반으로 각각의 세부셀에 개별적으로 저장한다.
각 세부셀에 압력세기별 프레임을 매칭하는 방식은 다양한 방식이 적용될 수 있다. 일실시예로, 컴퓨터 내에 최대세기가 설정되어 있고 전체 세기를 특정 개수 단위로 분할하여 설정되어 있는 경우, 컴퓨터는 사용자로부터 압력 개수를 입력받음에 따라 압력세기를 설정한다. 또한, 다른 일실시예로, 컴퓨터는 기초영상이 재생되는 과정에 입력조작을 가하도록 하여, 각 영상프레임에 대응되는 위치정보 및 깊이정보를 바로 결정하여 세부셀을 매칭할 수 있다.
또한, 2차원공간 상의 위치를 결정하는 방식의 일실시예로, 컴퓨터는 이미지 인식을 통해 입력조작이 가해지는 2차원 공간상의 위치를 파악하고, 화면 상의 해당 위치를 화면상의 세부셀이 매칭될 지점으로 결정한다.
또한, 다른 일실시예로, 도 2에서와 같이, 컴퓨터는 반응형 생성영역을 특정한 개수의 재생구역으로 분할하도록 각 영상프레임을 분할하는 분할이미지를 생성하여 각 대응되는 터치스크린상의 지점에 매칭한다. 컴퓨터는 영상 획득 시에는 하나로 획득된 영상프레임을 반응형 생성영역을 분할하는 분할선에 의해 복수 개의 분할이미지로 분할하고, 터치스크린 상의 각 지점에 개별적으로 분할이미지를 매칭한다. 그 후, 하나 이상의 조작이 전체 터치스크린 상에 입력됨에 따라, 컴퓨터는 각 재생구역의 조작에 부합하는 분할이미지를 추출하여 결합하여 터치스크린 상에 제공한다. 이를 통해, 하나의 영상프레임 소스(Source)를 기반으로 분할된 복수의 영역이 다중 플레이되도록 구현할 수 있고, 컴퓨터는 사용자에 의해 복수의 지점에 입력조작이 입력되는 경우에 복수의 지점에서 반응이 생성되는 반응형영상을 생성할 수 있다.
또한, 다른 일실시예로, 도 3에서와 같이, 반응형으로 생성될 설정영역을 지정하는 단계(S500);를 더 포함한다. 일실시예로, 컴퓨터는 기초영상 내에서 대상체에 외형 변화가 발생하는 영역을 포함하는 범위를 설정영역으로 지정할 수 있다. 예를 들어, 제1사용자가 조작체(예를 들어, 손)를 이용하여 대상체(예를 들어, 패딩)에 외력을 가하는 경우, 컴퓨터는 외력에 의해 외형이 변하는 부분(즉, 패딩이 눌러지는 부분)만을 제1사용자에 의해 반응형으로 만들고자 의도하는 영역으로 판단할 수 있다. 또한, 기초영상 내에 대상체뿐만 아니라 조작체가 함께 촬영되어 포함되는 경우, 컴퓨터는 조작체의 움직임은 배제하고 대상체의 외형 변화만을 인식하여 설정영역을 지정할 수 있다.
또한, 상기 설정영역을 지정하는 다른 일실시예로, 컴퓨터가 기초영상 내 복수의 영상프레임 내에 동일하게 존재하는 대상체 이미지 자체를 추출하여, 설정영역으로 지정한다. 즉, 대상체 표면이 반응형으로 생성될 영역을 포함하므로, 컴퓨터는 기초영상 내에 동일하게 포함된 대상체의 전체범위를 설정영역으로 지정할 수 있다.
또한, 상기 설정영역을 지정하는 다른 일실시예로, 컴퓨터가 조작체(예를 들어, 손)의 움직임을 트래킹하여, 조작체(예를 들어, 손)의 이동경로를 포함하는 범위를 설정영역으로 지정한다. 즉, 컴퓨터는 조작체가 움직이는 영역을 추출하여 설정영역으로 지정한다.
또한, 상기 설정영역을 지정하는 다른 일실시예로, 컴퓨터는 제1사용자로부터 특정한 영상프레임에 반응형 영역을 설정하는 입력을 수신한다. 예를 들어, 컴퓨터는 화면 상에 기초영상 내의 특정한 영상프레임을 추출하여 제공하고, 사용자로부터 설정영역으로 지정할 대상체의 2차원 범위를 지정받을 수 있다.
기초영상에서 카메라 및 대상체의 위치는 고정되어 있는 경우, 컴퓨터는 임의의 영상프레임을 제공한 후 대상체의 영역을 터치조작을 통해 설정받을 수 있다. 컴퓨터는 특정한 프레임에 지정된 설정영역을 모든 프레임에 동일하게 지정할 수 있다. 또한, 다른 예로, 카메라 또는 대상체의 위치가 변경되는 경우, 컴퓨터는 특정한 영상프레임 내에 설정영역을 지정받은 후 상기 설정영역의 이미지에 대응되는 각 영상프레임 내의 영역을 설정영역으로 자동 지정할 수 있다.
또한, 또 다른 일실시예로, 도 4에서와 같이, 특정한 세기의 압력이 가해진 후 기초영상 내의 변화를 인식하여 해당 대상체의 복원변수를 산출하는 단계(S400);를 더 포함한다. 상기 복원변수는 특정한 압력이 가해진 후 실제 대상체가 압력이 가해지지 않은 상태로 복원되는 움직임을 터치스크린 상에서 사용자의 특정한 압력세기를 가지는 압력조작 이후에 반응형 영상이 실제와 같이 복원되도록 하는 변수를 의미한다. 컴퓨터(즉, 제1클라이언트)는 복원변수를 산출한 후 반응형 영상에 포함하여 제2클라이언트에 제공하고, 제2클라이언트는 후술되는 바와 같이 반응형 영상의 영상프레임 재생 시에 복원변수를 반영할 수 있다. 즉, 제2클라이언트는 복원변수를 반영하여 반응형 영상을 재생함에 따라 실제 대상체의 외형이 복원되는 형태와 유사하게 표현할 수 있다. 제2클라이언트는 복원변수를 적용하여 터치스크린상에 압력이 가해짐에 따라 압력변화에 따라 순차적으로 영상프레임이 변경되고 실제 대상체의 움직임과 동일하게 외형이 복원되도록 영상프레임을 재생한다.
상기 복원변수를 산출하는 방식의 일실시예로, 컴퓨터는 기초영상 생성 시에 조작체에 의해 대상체에 압력을 가한 후 복원되는 복수의 영상프레임을 획득하고, 영상프레임 내 대상체의 시간당 변화를 바탕으로 복원변수를 산출한다.
또한, 복원변수를 산출하는 다른 일실시예로, 특정한 압력으로 반응형 생성영역에서 조작체에 의해 특정한 압력이 가해지면서 기초영상에 포함되는 복수의 영상프레임을 획득하는 과정에서, 컴퓨터는 대상체 상에서 조작체가 이동한 영역(예를 들어, 손으로 대상체에 압력을 가한 상태에서 이동하는 경우에 손이 지나간 영역)에서의 대상체 변화를 분석하여 복원변수를 산출한다. 이를 통해, 사용자는 복원변수를 산출하기 위해 대상체에 대해 조작체를 이용하여 압력을 가하는 과정을 수행하지 않아도 되어, 간편하게 현실감있는 반응형 영상을 생성할 수 있다.
또한, 다른 일실시예로, 컴퓨터가 촬영된 대상체 종류 또는 조작체의 움직임을 이미지 학습을 통해 파악하여, 대상체 특성에 부합하는 복원변수를 결정한다. 컴퓨터가 이미지를 학습하는 방식의 예로, 컴퓨터는 기계학습 알고리즘을 이용하여 대상체의 종류 또는 조작체의 움직임을 학습할 수 있다. 상기 기계학습알고리즘은 심층신경망을 기반으로 학습을 수행하는 딥러닝 알고리즘을 포함한다.
예를 들어, 컴퓨터는 빅데이터로 구축되거나 크롤링을 통해 획득된 이미지를 기반으로 기초영상 내에 포함된 대상체를 파악할 수 있다. 또한, 예를 들어, 컴퓨터는 다수의 동영상에 포함된 조작체 움직임(예를 들어, 손 움직임) 영상을 누적하여 학습을 수행하고, 기초영상 내 조작체 움직임에 대응하는 복수의 프레임을 기반으로 조작체에 의해 수행되는 움직임이 어떠한 행동 또는 조작인지를 판단한다.
도 5는 본 발명의 일실시예에 따른 다차원 반응형 영상 재생방법의 순서도이다.
도 5를 참조하면, 본 발명의 다른 일실시예에 따른 다차원 반응형 영상 재생방법은, 제2클라이언트가 제2사용자로부터 대상체에 대한 입력조작을 수신하는 단계(S1200); 및 상기 입력조작을 바탕으로, 상기 제2클라이언트가 상기 반응형 영상 내의 영상프레임을 순차적으로 제공하는 단계(S1400);을 포함한다. 이하, 각 단계에 대한 상세한 설명을 기재한다.
제2클라이언트가 제2사용자로부터 대상체에 대한 입력조작을 수신한다(S1200). 즉, 제2클라이언트는 제2사용자에 의한 입력조작에 대응되는 세부셀 조건을 획득한다. 제2클라이언트는 제2사용자의 입력조작을 통해 화면상의 위치(즉, 사용자의 입력조작이 가해지는 지점의 X좌표 및 Y좌표)정보와 깊이정보(즉, 가해지는 압력데이터 또는 화면에 접촉되는 시간길이)를 획득한다.
제2사용자에 의해 연속되는 입력조작이 가해지면, 제2클라이언트는 단위시간간격으로 위치정보 및 깊이정보를 획득한다. 예를 들어, 특정한 축방향(예를 들어, X축방향 또는 Y축방향)을 따라 움직이는 경우, 제2클라이언트는 단위시간 간격마다 변경된 위치정보 및 깊이정보를 획득한다. 또한, 예를 들어, 제2사용자로부터 대각선 방향으로 압력세기가 변경되면서 이동하는 입력조작을 수신하는 경우, 제2클라이언트는 변경되는 위치정보와 깊이정보를 순차적으로 획득한다.
상기 입력조작을 바탕으로, 상기 제2클라이언트가 상기 반응형 영상 내의 영상프레임을 순차적으로 추출 또는 제공한다(S1400). 상기 입력조작의 위치정보 및 깊이정보가 변경됨에 따라, 컴퓨터가 변경된 위치정보 및 깊이정보에 대응하는 세부셀에 매칭된 영상프레임을 추출하여 연속적으로 제공한다.
도 6에서와 같이, 입력조작의 압력세기 또는 접촉시간 길이를 증가시키면서 A지점, B지점, C지점으로 입력조작을 이동하는 경우, 제2클라이언트는 입력조작이 가해지는 위치(예를 들어, 손가락이 접촉된 위치)의 복수의 세부셀 중에서 가해진 압력세기 또는 접촉시간길이에 대응되는 세부셀을 탐색하고 세부셀에 매칭된 영상프레임을 추출한다.
구체적으로, 제2클라이언트는 A지점에서는 압력이 가해지지 않고 접촉됨에 따라 0레벨의 세부셀을 선택하고, B지점에서는 압력세기를 기반으로 1레벨의 세부셀을 선택하고, C지점에서는 압력세기를 기반으로 4레벨의 세부셀을 선택한다. 제2클라이언트는 A지점에서 C지점으로 이동하면서 선택된 각 세부셀에 매칭된 영상프레임을 순차적으로 제공한다.
일실시예로, 컴퓨터인 제2클라이언트는 서비스서버로부터 각각의 영상프레임을 수신하여 재생할 수 있다. 예를 들어, 제2클라이언트는 서비스서버로 화면 상의 위치(예를 들어, 제2사용자의 입력조작이 가해진 화면상의 픽셀 위치)와 압력센서에 의해 측정된 압력세기 또는 화면에 접촉된 시간길이를 전송하고, 서비스서버는 이를 기반으로 셀조합 내의 특정한 세부셀을 탐색하여 이에 매칭된 영상프레임을 제2클라이언트로 제공한다. 제2클라이언트는 서비스서버로부터 수신된 영상프레임을 화면상에 추출한다. 서비스서버와 클라이언트 간의 통신에 따른 딜레이(Delay)가 짧을 경우, 제2클라이언트에 제2사용자의 입력조작이 입력된 후 짧은 시간 후에 입력조작의 위치정보 및 깊이정보(즉, 압력세기 또는 접촉시간길이)에 대응하는 영상프레임을 표시할 수 있어서 제2사용자 조작에 바로 반응하는 것과 같이 영상을 구현할 수 있다.
또한, 다른 일실시예로, 제2클라이언트는 서비스서버 또는 제1클라이언트로부터 반응형 영상의 셀조합 전체를 수신한 후, 각 시점의 입력조작에 따른 위치정보와 깊이정보(즉, 가해진 압력세기 또는 시간길이)를 기반으로 셀조합 내의 특정한 세부셀을 탐색하여 이에 매칭된 영상프레임을 추출하여 화면상에 표시한다.
이를 통해, 제2클라이언트는 사용자에 의한 입력조작 움직임별로 재생되는 영상을 별도로 구비할 필요없이 각각의 입력조작 조건(즉, 위치정보 및 깊이정보)에 따른 영상프레임을 데이터베이스로 생성하여 둠에 따라, 제2사용자의 입력조작에 대응하는 다양한 대상체 움직임(Motion)을 구현할 수 있다.
또한, 다른 일실시예로, 제2클라이언트는 입력조작의 가압방식에 따라 순차적으로 재생되는 프레임을 추출하는 세부셀이 상이하게 결정될 수 있다.
또한, 본 발명의 다른 일실시예는, 인접한 영역에 연속적인 조작이 입력되는 경우, 제2클라이언트가 터치스크린(즉, 화면) 상의 특정지점에 대응하는 복수의 영상프레임을 기반으로 몰핑(Morphing)을 수행하여 최종재생영상프레임을 생성하는 단계(S1300);를 더 포함한다. 예를 들어, 컴퓨터가 사용자에 의해 특정한 압력이 가해지면서 제1축 방향 및 제2축 방향으로 대상체를 조작하면서 획득된 영상프레임을 기초영상으로 저장하는 경우, 컴퓨터는 복수의 영상프레임을 기반으로 특정시점에 터치조작이 입력되는 지점 이외의 영역에 대해서는 몰핑을 수행한 영상프레임을 생성한다. 이를 통해, 사용자의 조작 시에 자연스럽게 변화하는 반응형 영상을 생성할 수 있다.
구체적으로, 제2클라이언트는 제1시점에 제공된 영상프레임과 손가락의 위치와 압력세기가 달라짐에 따라 제2시점(제1시점으로부터 특정시간이 경과된 시점)에 제공된 영상프레임을 기반으로 몰핑을 수행한다. 즉, 제2클라이언트는 현재 입력조작에 부합하는 세부셀의 영상프레임과 이전에 제공된 하나 이상의 영상프레임을 이용하여 몰핑을 수행한다. 예를 들어, 제2클라이언트는 동일한 지점에 제1시점의 영상프레임과 제2시점의 영상프레임의 평균값을 적용하여 최종재생영상프레임을 생성할 수 있다.
이를 통해, 입력조작에 부합하는 세부셀 내 영상프레임이 제2사용자가 수행하는 움직임에 부합하지 않더라도 보정을 통해 움직임에 부합하는 최종재생영상프레임을 생성할 수 있다. 즉, 제2사용자가 제공하는 움직임에 맞는 영상을 제공함에 따라 현실감을 제공할 수 있고, 모든 움직임에 대한 영상프레임을 저장할 필요없이 기본영상프레임만을 각 세부셀에 매칭하여 저장한 상태에서 다양한 영상프레임을 생성할 수 있어서 저장공간을 절약할 수 있다.
또한, 제2클라이언트는 제2사용자에 의해 입력조작이 입력되는 지점으로부터 미리 정해진 범위 내의 이미지영역을 함께 변형할 수 있다. 즉, 특정지점에 압력이 가해짐에 따라 주변영역에도 변형이 발생하므로, 제2클라이언트는 주변영역 보정을 함께 수행한다.
제2클라이언트는 설정된 입력조작이 가해진 지점으로부터 설정된 주변영역의 끝부분까지 연속적으로 변하는 것으로 표현되도록 보정할 수 있다. 예를 들어, 입력조작이 가해진 지점의 색상값과 주변영역 끝의 색상값을 기반으로 순차적으로 색상이 변하도록 보정을 수행한다. 이 때, 제2클라이언트는 입력조작이 가해지지 않은 기본상태의 영상프레임을 함께 활용할 수 있다.
제2클라이언트는 입력조작의 압력세기에 따라서 보정되는 주변영역 범위를 달리 결정할 수 있다. 예를 들어, 입력조작이 가해지는 대상체가 쿠션인 경우, 강한 압력이 가해질수록 표면 변형이 발생되는 영역이 넓어지게 되므로, 제2클라이언트는 반응형 영상 재생 시에 현실감을 제공하기 위해 압력 세기에 따라 변형범위를 결정한다.
또한, 다른 일실시예로, 제2클라이언트가 반응형 영상에서 복원변수를 추출하여 영상프레임 변화를 조절하는 단계(S1500);를 더 포함한다. 즉, 제2클라이언트는 반응형 영상에 함께 포함되어 제공되는 복원변수를 기반으로 입력조작이 가해진 후 영상프레임이 변경되는 속도를 조절한다. 이를 통해, 실제 대상체를 조작할 때와 같이 영상을 재생할 수 있다.
또한, 다른 일실시예로, 제2클라이언트가 반응형 영상을 실행한 특정 시점으로부터의 시간경과를 산출하여, 대상체에 대한 입력조작에 따른 영상프레임 변화를 조절하는 단계(S1600);를 더 포함한다. 이를 통해, 현실에서 시간경과함에 따라 상태변화가 생겨서 압력에 따른 변형정도가 달라지는 대상체(예를 들어, 과일, 빵, 시멘트 등)의 특성을 반응형 영상에서도 현실과 같은 상태 변화를 구현할 수 있고, 사용자들은 시간변화에 따른 물체의 경도 변화를 반응형 영상을 통해 느낄 수 있다. 예를 들어, 제2클라이언트는 반응형 영상 내에서 빵이 시간이 지남에 따라 딱딱해져서 푹신함이 줄어드는 것, 시멘트나 찰흙 등이 시간이 지남에 따라 딱딱해지는 것을 대상체 변형이 적은 영상프레임을 압력에 따라 제공되는 마지막 프레임으로 변경하거나 영상프레임 변화 속도를 조절하여 구현할 수 있다.
본 발명의 다른 일실시예에 따른 다차원 반응형 영상 생성장치는, 제어부를 포함한다. 상기 제어부는 본 발명의 실시예들에 따른 다차원 반응형 영상 생성방법을 수행한다.
또한, 다차원 반응형 영상 생성장치의 다른 일실시예는, 기초영상을 촬영하는 영상촬영부(즉, 카메라);를 포함한다.
이상에서 전술한 본 발명의 실시예들에 따른 다차원 반응형 영상 생성방법 및 재생방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (11)

  1. 컴퓨터가 기초영상을 형성하는 복수의 다차원 영상프레임을 획득하되, 상기 기초영상은 대상체에 조작체로 조작을 가하는 영상인, 다차원 영상프레임 획득단계;
    컴퓨터가 상기 기초영상 내에 설정영역 및 상기 설정영역 내 특정한 프레임밀도를 기반으로, 3차원의 셀조합을 생성하되, 상기 3차원 셀조합은, 상이한 깊이정보 및 위치정보가 부여된 복수의 세부셀을 포함하는 것인, 셀조합생성단계; 및
    컴퓨터가 상기 기초영상에 포함된 각각의 영상프레임을 대응되는 상기 세부셀에 매칭하는 단계;를 포함하되,
    상기 깊이정보는 반응형 영상에 가해지는 입력조작의 압력세기 또는 입력조작이 가해지는 시간길이에 대한 정보이고,
    상기 위치정보는 상기 반응형 영상에 상기 입력조작이 가해지는 2차원 공간 상 위치에 대한 정보이고,
    상기 설정영역은 대상체 내에서 상기 반응형 영상으로 생성되는 2차원 공간영역이고,
    상기 프레임밀도는 상기 기초영상 내 특정지점에 적용되는 상기 깊이정보 단계의 개수인, 다차원 반응형 영상 생성방법.
  2. 제1항에 있어서,
    상기 다차원 영상프레임은,
    조작체를 이용하여 특정한 대상체에 조작이 가해지는 위치와 압력세기를 변경하면서 반복적으로 획득되는 것인, 다차원 반응형 영상 생성방법.
  3. 제1항에 있어서,
    상기 다차원 영상프레임 획득단계는,
    조작체로 대상체에 입력조작을 가하는 전체영상에서 입력조작이 가해진 후 복원되는 복원영상을 추출하여, 상기 복원영상 내 복수의 영상프레임을 획득하는 것을 특징으로 하는, 다차원 반응형 영상 생성방법.
  4. 제1항에 있어서,
    상기 반응형 영상으로 생성될 상기 설정영역을 지정하는 단계;를 더 포함하는, 다차원 반응형 영상 생성방법.
  5. 제1항에 있어서,
    특정한 세기의 압력이 가해진 후 기초영상 내의 변화를 인식하여 상기 대상체의 복원변수를 산출하는 단계;를 더 포함하는, 다차원 반응형 영상 생성방법.
  6. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제5항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 다차원 반응형 영상 생성프로그램.
  7. 컴퓨터가 사용자로부터 대상체에 대한 입력조작을 수신하는 단계; 및
    각 재생시점에 수신된 상기 입력조작의 위치정보 및 깊이정보에 따라, 상기 컴퓨터가 반응형 영상에 위치정보 및 깊이정보에 대응하는 세부셀에 매칭된 영상프레임을 추출하는 단계;를 포함하되,
    상기 깊이정보는 상기 반응형 영상에 가해지는 입력조작의 압력세기 또는 입력조작이 가해지는 시간길이에 대한 정보이고,
    상기 위치정보는 상기 반응형 영상에 상기 입력조작이 가해지는 2차원 공간 상 위치에 대한 정보이고,
    상기 세부셀은 상기 입력조작의 위치정보 및 깊이정보에 대응하는 특정한 영상프레임이 매칭된 것으로서, 반응형 영상 내의 3차원 셀조합을 구성하는 것인, 다차원 반응형 영상 재생방법.
  8. 제7항에 있어서,
    인접한 영역에 연속적인 입력조작이 입력되는 경우,
    컴퓨터가 화면 상의 특정지점에 대응하는 깊이정보가 상이한 복수의 영상프레임 조합 또는 이전시점에 제공된 영상프레임과 현재 입력조작에 대응하는 세부셀 내의 영상프레임의 조합을 기반으로 몰핑을 수행하여 최종재생영상프레임을 생성하는 단계;를 더 포함하는, 다차원 반응형 영상 재생방법.
  9. 제7항에 있어서,
    컴퓨터가 상기 반응형 영상에서 복원변수를 추출하여 영상프레임 변화속도를 조절하는 단계;를 더 포함하는, 다차원 반응형 영상 재생방법.
  10. 제7항에 있어서,
    컴퓨터가 반응형 영상을 실행한 특정 시점으로부터의 시간경과를 산출하여, 대상체에 대한 입력조작에 따른 영상프레임 변화를 조절하는 단계; 를 더 포함하는, 다차원 반응형 영상 재생방법.
  11. 하드웨어인 컴퓨터와 결합되어, 제7항 내지 제10항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 반응형 영상 생성프로그램.
PCT/KR2017/009837 2016-09-07 2017-09-07 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램 WO2018048227A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019513893A JP6892498B2 (ja) 2016-09-07 2017-09-07 多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラム
US16/331,475 US11003264B2 (en) 2016-09-07 2017-09-07 Device, method and program for generating multidimensional reaction-type image, and method and program for reproducing multidimensional reaction-type image
US16/890,419 US11360588B2 (en) 2016-09-07 2020-06-02 Device, method, and program for generating multidimensional reaction-type image, and method, and program for reproducing multidimensional reaction-type image
US17/744,415 US12086335B2 (en) 2016-09-07 2022-05-13 Device, method and program for generating multidimensional reaction-type image, and method and program for reproducing multidimensional reaction-type image

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0115235 2016-09-07
KR20160115235 2016-09-07
KR10-2017-0114671 2017-09-07
KR1020170114671A KR102051981B1 (ko) 2016-09-07 2017-09-07 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/331,475 A-371-Of-International US11003264B2 (en) 2016-09-07 2017-09-07 Device, method and program for generating multidimensional reaction-type image, and method and program for reproducing multidimensional reaction-type image
US16/890,419 Division US11360588B2 (en) 2016-09-07 2020-06-02 Device, method, and program for generating multidimensional reaction-type image, and method, and program for reproducing multidimensional reaction-type image

Publications (1)

Publication Number Publication Date
WO2018048227A1 true WO2018048227A1 (ko) 2018-03-15

Family

ID=61562548

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/009837 WO2018048227A1 (ko) 2016-09-07 2017-09-07 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램

Country Status (1)

Country Link
WO (1) WO2018048227A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508408A (zh) * 2018-10-25 2019-03-22 北京陌上花科技有限公司 一种基于帧密度的视频检索方法及计算机可读存储介质
US11003264B2 (en) 2016-09-07 2021-05-11 Chui Woo Lee Device, method and program for generating multidimensional reaction-type image, and method and program for reproducing multidimensional reaction-type image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130071978A (ko) * 2011-12-21 2013-07-01 주식회사 케이티 체감형 학습 장치 및 방법
US20140105463A1 (en) * 2011-05-31 2014-04-17 Google Inc. Method and system for motion detection in an image
US20150094127A1 (en) * 2013-09-30 2015-04-02 Zynga Inc. Swipe-direction gesture control for video games using glass input devices
KR101582296B1 (ko) * 2015-06-26 2016-01-04 주식회사 레드덕 모바일 게임을 위한 자동 조준 시스템 및 방법
KR20160019156A (ko) * 2014-08-11 2016-02-19 서장원 터치입력에 반응하는 3d 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140105463A1 (en) * 2011-05-31 2014-04-17 Google Inc. Method and system for motion detection in an image
KR20130071978A (ko) * 2011-12-21 2013-07-01 주식회사 케이티 체감형 학습 장치 및 방법
US20150094127A1 (en) * 2013-09-30 2015-04-02 Zynga Inc. Swipe-direction gesture control for video games using glass input devices
KR20160019156A (ko) * 2014-08-11 2016-02-19 서장원 터치입력에 반응하는 3d 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법
KR101582296B1 (ko) * 2015-06-26 2016-01-04 주식회사 레드덕 모바일 게임을 위한 자동 조준 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003264B2 (en) 2016-09-07 2021-05-11 Chui Woo Lee Device, method and program for generating multidimensional reaction-type image, and method and program for reproducing multidimensional reaction-type image
US11360588B2 (en) 2016-09-07 2022-06-14 Chui Woo Lee Device, method, and program for generating multidimensional reaction-type image, and method, and program for reproducing multidimensional reaction-type image
US12086335B2 (en) 2016-09-07 2024-09-10 Momenti, Inc. Device, method and program for generating multidimensional reaction-type image, and method and program for reproducing multidimensional reaction-type image
CN109508408A (zh) * 2018-10-25 2019-03-22 北京陌上花科技有限公司 一种基于帧密度的视频检索方法及计算机可读存储介质

Similar Documents

Publication Publication Date Title
JP7482242B2 (ja) 表情トランスファーモデルの訓練方法、表情トランスファー方法及び装置並びにコンピュータ装置及びプログラム
JP7457082B2 (ja) 反応型映像生成方法及び生成プログラム
KR102363554B1 (ko) 다중 반응형영상 제작방법, 다중 반응형영상 메타데이터 생성방법, 인간 행동을 이해하기 위한 상호 작용 데이터 분석 방법 및 이를 이용한 프로그램
JP7483979B2 (ja) 多次元反応型映像を再生する方法及び装置
CN109859857A (zh) 身份信息的标注方法、装置和计算机可读存储介质
CN106293099A (zh) 手势识别方法及系统
WO2018048227A1 (ko) 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램
WO2017026834A1 (ko) 반응형 영상 생성방법 및 생성프로그램
KR20180039321A (ko) 반응형영상 제작방법, 반응형영상 생성파일 제작방법, 반응형영상 기반의 광고효과 분석방법 및 이를 이용한 프로그램
JP2008135923A (ja) リアルタイムに相互作用する映像の制作方法、映像の制作装置、および映像の制作システム
CN1728780A (zh) 即时互动影音的方法与系统
KR102701874B1 (ko) 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램
WO2020218899A1 (ko) 다중 반응형영상 제작방법, 다중 반응형영상 메타데이터 생성방법, 인간 행동을 이해하기 위한 상호 작용 데이터 분석 방법 및 이를 이용한 프로그램
WO2024076202A1 (ko) 복수의 프레임 간 비교에 기반하여 반응형 영상을 생성하는 전자 장치 및 그 방법
WO2024076201A1 (ko) 반응형 영상에 대한 입력조작의 의도 및 감정에 기반하여 반응형 영상을 재생하는 전자 장치 및 그 방법
WO2024076200A1 (ko) 반응형 영상을 생성하기 위한 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2023128266A1 (en) System and method for mimicking user handwriting or other user input using an avatar
WO2024076206A1 (ko) 조작패턴 기반 반응형 영상 재생 장치 및 방법
Watanabe et al. Synchronized Video: An Interface for Harmonizing Video with Body Movements
JP2016024577A (ja) ユーザ挙動記録装置、ユーザ挙動記録方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17849111

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019513893

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17849111

Country of ref document: EP

Kind code of ref document: A1