WO2020054978A1 - 이미지 생성 장치 및 그 방법 - Google Patents

이미지 생성 장치 및 그 방법 Download PDF

Info

Publication number
WO2020054978A1
WO2020054978A1 PCT/KR2019/009869 KR2019009869W WO2020054978A1 WO 2020054978 A1 WO2020054978 A1 WO 2020054978A1 KR 2019009869 W KR2019009869 W KR 2019009869W WO 2020054978 A1 WO2020054978 A1 WO 2020054978A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
region
movement
deleted
Prior art date
Application number
PCT/KR2019/009869
Other languages
English (en)
French (fr)
Inventor
한성욱
Original Assignee
한성욱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한성욱 filed Critical 한성욱
Priority to US17/273,435 priority Critical patent/US20210192751A1/en
Publication of WO2020054978A1 publication Critical patent/WO2020054978A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to an image generating apparatus and a method thereof, and in particular, to automatically identify and remove moving objects from a plurality of successive images including one or more objects photographed at the same location, and includes only desired objects whose motion is maintained. It relates to an image generating apparatus and method for generating an image.
  • a mobile terminal is a device that performs a Global Positioning System (GPS) function and a call function (or a call function), and provides a result of the performance to a user.
  • GPS Global Positioning System
  • a call function or a call function
  • the mobile terminal is equipped with a portable camera in addition to a voice call and a text transmission service, and can easily take a desired image anytime, anywhere, and supports various functions such as transmission of image information and video call.
  • mobile terminals capable of video communication are divided into a camera built-in type with a built-in camera and a camera-attached type provided with a separate camera and used in the body of the mobile terminal.
  • Such a mobile terminal only stops by fetching and displaying a photographed image or providing a simple editing function for user convenience.
  • An object of the present invention is an image generating apparatus that automatically identifies and removes moving objects from a plurality of consecutive images including one or more objects photographed at the same location, thereby generating an image including only desired objects whose motion is maintained and The way is to provide.
  • An image generating apparatus includes a camera unit that acquires a plurality of original images; A plurality of images, which are copies of the plurality of original images acquired by the camera unit, are generated, one or more objects included in the plurality of images are respectively recognized, and the objects recognized in each image for each of the plurality of images are The distance and the coordinates are respectively checked, and at least one object without movement and at least one object with movement are among the objects included in the image through distance and coordinate verification between objects in two consecutive images among the plurality of images.
  • Each region associated with the at least one object having the movement is deleted, and a first region in the remaining images in which the region associated with the at least one object having the movement is deleted is synthesized, so that the region within the first region is
  • a display unit displaying the generated new image.
  • the first replacement image includes coordinate information corresponding to the first area, and the size and shape of the first replacement image may correspond to the size and shape of the first area. .
  • control unit synthesizes the first replacement image in the deleted first region in the reference image based on the coordinate information corresponding to the first region included in the first replacement image to generate the new You can create an image.
  • the control unit identifies the second area associated with the at least one object with the movement of the plurality of images, and identifies the second area in the plurality of images for each of the plurality of images. Areas associated with the at least one object with movements that are present in an area are respectively deleted, and second areas in a plurality of images in which areas associated with the at least one object with movements are deleted are combined to form a second area. A second replacement image corresponding to an image in which at least one object with the movement is deleted is generated, the second region is deleted from the reference image, and the second region is deleted from the reference image. The synthesized second replacement image may be synthesized to generate the new image.
  • An image generation method includes: obtaining a plurality of original images by a camera unit; Generating, by the control unit, a plurality of images which are copies of the plurality of original images acquired by the camera unit; Recognizing, by the control unit, one or more objects included in the plurality of images, respectively; Checking, by the control unit, distances and coordinates between objects recognized in each image for each of the plurality of images; The control unit identifies at least one object without movement and at least one object with movement, among objects included in the image, by checking distances and coordinates between objects in two consecutive images among the plurality of images, respectively.
  • step; Confirming, by the control unit, a second area associated with at least one object having the movement with respect to the plurality of images; Deleting, by the control unit, regions related to the at least one object having movement in the identified second region from the plurality of images for each of the plurality of images; An image in which at least one object with movement is deleted in the second region by synthesizing a second region in a plurality of images in which the region associated with the at least one object with movement is deleted by the control unit Generating a second replacement image corresponding to; Deleting, by the control unit, the second area from the reference image, and synthesizing the generated second replacement image into the deleted second area in the reference image to generate a new image; And controlling, by the control unit, the generated new image to be displayed on the display unit.
  • the control unit deletes a first area associated with the at least one object having the identified movement from the reference image, and is present in the first area in remaining images other than the reference image among the plurality of images. Deleting regions associated with at least one object with movement; An image in which at least one object with movement is deleted in the first region by synthesizing the first region in the remaining images in which the region related to the at least one object with movement is deleted by the control unit Generating a first replacement image corresponding to; And generating, by the control unit, the new image by synthesizing the generated first replacement image in the deleted first region in the reference image.
  • the step of performing an editing function on the new image may be performed by the control unit when any one of the objects included in the new image displayed on the display unit is selected according to a user input. Identifying a third area associated with the selected one object from the new image; Deleting, by the control unit, a third area associated with the identified one object from the new image; Generating, by the controller, another new image by replacing the third area in the new image in which the third area is deleted with a color around the third area; Each of the plurality of images for each of the plurality of images, the area associated with any one of the objects existing in the identified third area is deleted, and the areas associated with the one object are deleted.
  • the third region in the image is synthesized to generate a third replacement image corresponding to the image in which the one object is deleted in the third region, and the generated third region is deleted in the new image. Synthesizing a third replacement image to generate the other new image; Generating, by the controller, another new image by copying and pasting a specific portion of the new image according to a user's selection in the deleted third area in the new image; And by the controller, pasting another image according to a user's selection to the deleted third area in the new image to generate the other new image.
  • the present invention automatically identifies and removes moving objects from a plurality of consecutive images including one or more objects photographed at the same location, thereby generating an image including only the desired object in which the movement is maintained, so that a person such as a tourist spot Even if an image is taken in many places, it is possible to acquire an image containing only the desired object, thereby increasing the user's interest.
  • FIG. 1 is a block diagram showing the configuration of an image generating apparatus according to an embodiment of the present invention.
  • FIGS. 2 to 3 are flowcharts illustrating an image generating method according to an embodiment of the present invention.
  • FIGS. 4 to 19 are views illustrating an example of image generation according to an embodiment of the present invention.
  • FIG. 1 is a block diagram showing the configuration of an image generating apparatus 100 according to an embodiment of the present invention.
  • the image generating apparatus 100 is composed of a camera unit 110, a storage unit 120, a display unit 130, an audio output unit 140, and a control unit 150. Not all components of the image generating apparatus 100 illustrated in FIG. 1 are essential components, and the image generating apparatus 100 may be implemented by more components than the components illustrated in FIG. 1, or less The image generating apparatus 100 may also be implemented by components.
  • the image generating device 100 includes a smart phone, a portable terminal, a mobile terminal, a personal digital assistant (PDA), a portable multimedia player (PMP) terminal, and a telematics ( Telematics terminals, navigation terminals, personal computers, notebook computers, slate PCs, tablet PCs, ultrabooks, wearable devices, e.g. Watch type terminal (Smartwatch), glass type terminal (Smart Glass), including HMD (Head Mounted Display), Wibro terminal, IPTV (Internet Protocol Television) terminal, smart TV, digital broadcasting terminal, AVN (Audio Video) Navigation) terminal, A / V (Audio / Video) system, flexible terminal (Flexible Terminal), can be applied to various terminals such as digital signage devices.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • Telematics terminals Telematics terminals, navigation terminals, personal computers, notebook computers, slate PCs, tablet PCs, ultrabooks, wearable devices, e.g. Watch type terminal (Smartwatch), glass type terminal (Smart Glass), including
  • the image generating apparatus 100 may further include a communication unit (not shown) that communicates with any component inside or any at least one terminal outside through a wired / wireless communication network.
  • the camera unit 110 processes image frames such as still images or videos obtained by an image sensor (camera module or camera) in a video call mode, a shooting mode, a video conference mode, and the like. That is, according to a codec (CODEC), the corresponding image data obtained by the image sensor is encoded / decoded to meet each standard.
  • the processed image frame may be displayed on the display unit 130 under the control of the control unit 150.
  • the camera photographs an object (or a subject) (including a product, a user, and the like), and outputs a video signal corresponding to the captured image (subject image).
  • the image frame processed by the camera unit 110 may be stored in the storage unit 120 or transmitted to the server or the other terminal through the communication unit.
  • the camera unit 110 may provide the control unit 150 with a panoramic image (or panorama image information) acquired (or photographed) through a 360-degree camera (not shown).
  • the 360-degree camera may take a panoramic image in a 2D or 3D form.
  • a preset button formed on one side of the image generating device 100 is clicked (or touched / selected) or a preset shooting menu (or shot item) displayed on one side of the display 130 is selected (or touched / clicked) If possible, the camera unit 110 acquires (or shoots) a plurality of original images using a continuous shooting function (or continuous shooting function) at a preset time interval.
  • the plurality of original images obtained are described as being obtained by the continuous shooting function included in the camera unit 110, but are not limited thereto, and the plurality of original images obtained by the general shooting function It may be an original image.
  • the camera unit 110 may acquire the plurality of original images by performing a shooting function at a preset time interval for a preset shooting time (for example, 10 seconds).
  • the plurality of original images may be photographed with different focuses (or multifocal points), specific objects included in the plurality of original images
  • the plurality of original images may be partially corrected (or corrected / edited) through image correction (or image interpolation).
  • the camera unit 110 may perform multi-focusing (or multi-focusing) from the beginning to obtain an original image including a plurality of objects according to multi-focusing.
  • the camera unit 110 adds an area to be focused by the user to the multi-focusing according to user control (or user selection / touch), and an object (or person) related to the area to be focused by the user. It is possible to obtain the original image included.
  • the camera unit 110 focuses on the selected specific object. It is also possible to obtain original images for the plurality of users and the specific object in a state in which is aligned.
  • a specific object for example, the Eiffel Tower, a statue, etc.
  • the camera unit 110 may apply an automatic correction function to a minute difference that may occur due to an error thereon even if the hand of a person taking a picture is slightly shaken or moved through the camera shake correction function or the like.
  • the storage unit 120 stores various user interfaces (UIs), graphic user interfaces (GUIs), and the like.
  • UIs user interfaces
  • GUIs graphic user interfaces
  • the storage unit 120 stores data, programs, and the like required for the image generation device 100 to operate.
  • the storage unit 120 may store a plurality of application programs (application programs) or data for operation of the image generation device 100, commands that are driven by the image generation device 100. have. At least some of these applications can be downloaded from external servers via wireless communication. In addition, at least some of these application programs may exist on the image generating device 100 from the time of shipment for basic functions of the image generating device 100.
  • the application program is stored in the storage unit 120, is installed in the image generating device 100, may be driven by the control unit 150 to perform the operation (or function) of the image generating device 100 have.
  • the storage unit 120 includes a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (for example, SD or XD) Memory, etc.), magnetic memory, magnetic disk, optical disk, random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electronically erasable programmable read-only memory (EEPROM), PROM (Programmable Read-Only Memory) may include at least one storage medium.
  • the image generating device 100 may operate a web storage that performs a storage function of the storage unit 120 on the Internet, or operate in connection with the web storage.
  • the storage unit 120 stores an image (eg, a still image, a video, etc.) captured (or obtained) through the camera unit 110.
  • an image eg, a still image, a video, etc.
  • the display unit (or display unit) 130 may display various contents such as various menu screens using a user interface and / or a graphic user interface stored in the storage unit 120 under the control of the control unit 150. have.
  • the content displayed on the display unit 130 includes various text or image data (including various information data) and a menu screen including data such as icons, list menus, and combo boxes.
  • the display unit 130 may be a touch screen.
  • the display unit 130 is a liquid crystal display (Liquid Crystal Display: LCD), a thin film transistor liquid crystal display (Thin Film Transistor-Liquid Crystal Display: TFT LCD), an organic light-emitting diode (Organic Light-Emitting Diode: OLED), flexible display It may include at least one of a (Flexible Display), a 3D display, an e-ink display, and a light emitting diode (LED).
  • LCD liquid crystal display
  • TFT LCD Thin Film Transistor-Liquid Crystal Display
  • OLED Organic Light-Emitting Diode
  • flexible display It may include at least one of a (Flexible Display), a 3D display, an e-ink display, and a light emitting diode (LED).
  • the display unit 130 displays an image (for example, a still image, a video, etc.) captured (or obtained) through the camera unit 110 under the control of the controller 150.
  • an image for example, a still image, a video, etc.
  • the voice output unit 140 outputs voice information included in a signal processed by a predetermined signal by the control unit 150.
  • the voice output unit 140 may include a receiver, a speaker, a buzzer, and the like.
  • the voice output unit 140 outputs a guide voice generated by the control unit 150.
  • the audio output unit 140 the audio information corresponding to an image (for example, a still image, a video, etc.) taken (or obtained) through the camera unit 110 by the controller 150 ( Or sound effect).
  • the controller 150 executes the overall control function of the image generating device 100.
  • control unit 150 executes the overall control function of the image generating apparatus 100 using programs and data stored in the storage unit 120.
  • the controller 150 may include a RAM, ROM, CPU, GPU, bus, and RAM, ROM, CPU, GPU, etc. may be connected to each other through a bus.
  • the CPU may access the storage unit 120 to boot using O / S stored in the storage unit 120, and use various programs, contents, data, etc. stored in the storage unit 120. To perform various operations.
  • the controller 150 stores a plurality of original images, which are the obtained originals, in the storage unit 120 and generates a plurality of images (or a plurality of copy images) that are copies of the plurality of original images. At this time, the controller 150 sets the first image (or first image) among the plurality of images as a reference image.
  • the controller 150 may set a specific image located in a specific order among the plurality of images or a specific image according to a user selection as a reference image.
  • the controller 150 recognizes one or more objects included in the plurality of images, respectively.
  • object recognition included in the image one or more of various known object recognition methods may be used.
  • the object includes a person, an object (for example, a building, a car, a mountain, etc.).
  • the controller 150 may obtain one or more objects located within a preset radius around a focused area when acquiring an image through the camera unit 110. Can recognize. Accordingly, the process of recognizing fixed buildings, trees, mountains, etc. in the image is omitted, thereby reducing the object recognition time and improving system efficiency.
  • the controller 150 checks (or calculates) distances and coordinates between objects recognized in each image for each of the plurality of images.
  • the coordinates may be relative coordinates based on a preset reference position (or reference coordinate) with respect to the image (for example, the lower left corner of the image).
  • control unit 150 includes at least one object without movement (or movement) among objects included in the image through distance (or comparison) of objects and distances between objects in two successive images among the plurality of images, At least one object with movement is identified (or discriminated / verified), respectively.
  • control unit 150 compares the distance and coordinates between objects identified in each of the successive images among the plurality of images, and at least one without movement among one or more objects included in the successive images Each of the objects and at least one object with movement is identified.
  • the controller 150 identifies (or sets) a first area (or coordinate) associated with at least one object having movement (or movement) in the reference image.
  • the first area related to the object having the movement may be in the form of a rectangle, circle, ellipse, triangle, etc. to include the object with the movement, and the object of the object to include the object with the movement.
  • a predetermined number of pixels may be further included (or extended) from the outline (or outline).
  • control unit 150 may identify a second area related to at least one object having movement (or movement) with respect to the plurality of images.
  • the second area may be an area formed by combining coordinates of individual areas each including at least one object with movement among the plurality of images.
  • the controller 150 identifies a first area associated with at least one object with movement based on the reference image, or a second area associated with at least one object with movement toward the plurality of images. You can check the area.
  • control unit 150 deletes a first area associated with at least one object having the identified movement (or movement) in the reference image.
  • the control unit 150 may control regions (or sub-regions) associated with at least one object having a movement (or movement) existing in the first region among the images other than the reference image among the plurality of images, respectively. Delete it.
  • controller 150 may delete regions related to at least one object having the movement (or movement) from the remaining images other than the reference image among the plurality of images, respectively.
  • controller 150 may delete regions (or sub-regions) associated with at least one object having movement (or movement) existing in the identified second region from the plurality of images for each of the plurality of images, respectively. have.
  • the controller 150 synthesizes a first region in the remaining images in which a region related to the at least one object having the movement (or movement) is deleted, and at least one having the movement in the first region.
  • a first replacement image (or first replacement area) corresponding to an image (or image) in which the object is deleted is generated.
  • the generated first replacement image includes coordinate information corresponding to the first region.
  • the size and shape (or shape / shape) of the generated first replacement image corresponds (or the same) to the size and shape of the first region.
  • the control unit 150 may perform image correction (or image interpolation) or the like on the first regions in the remaining images.
  • the controller 150 synthesizes a second region in a plurality of images in which a region related to at least one object having the movement (or movement) is deleted, and at least one having the movement within the second region.
  • a second replacement image (or second replacement area) corresponding to an image (or image) in which the object is deleted may be generated.
  • the generated second replacement image includes coordinate information corresponding to the second region.
  • the size and shape (or shape / shape) of the generated second replacement image corresponds to (or the same as) the size and shape of the second region.
  • the controller 150 synthesizes (or adds) the generated first replacement image (or first replacement region) to the deleted first region in the reference image to generate a new image (or a completed image).
  • the controller 150 may synthesize the first replacement image in the deleted first region in the reference image based on coordinate information corresponding to the first region included in the generated first replacement image.
  • the generated new image may be a state in which at least one object having the movement is deleted from the reference image, and the first replacement image is replaced in an area where the at least one object is deleted.
  • the controller 150 deletes the second area from the reference image, and synthesizes (or adds) the generated second replacement image (or second replacement area) to the deleted second area in the reference image. To create a new image (or finished image).
  • the controller 150 may synthesize the second replacement image in the second deleted area in the reference image based on coordinate information corresponding to the second area included in the generated second replacement image.
  • the controller 150 may include a first area (or first) in an image in which at least one object with movement is not included.
  • the first replacement image (or second replacement image) is generated based on the second region), the first region (or second region) is deleted from the reference image, and the deleted first region (in the reference image)
  • the new image may be generated by synthesizing (or adding) the generated first replacement image (or second replacement image) to the second region).
  • controller 150 displays the generated new image (or completed image) on the display unit 130.
  • control unit 150 may create a new image as a finished product by using regions that are commonly maintained for the plurality of images.
  • control unit 150 remains in a fixed position in the case of a cloud, a mountain, a building, or the like, which is naturally used as a shooting background at a very long distance, and only the shooting target who maintains the same posture remains in the picture. And the rest of the passing (or moving / moving) people are all able to create the new image that disappeared (or deleted).
  • control unit 150 displays the display unit 130 according to user input (or user selection / control). Edit function is performed on the new image.
  • control unit 150 operates in an edit mode.
  • the controller 150 selects the selected one from the new image.
  • the third area associated with the selected one object may be in the form of a rectangle, circle, ellipse, triangle, etc., including the corresponding one object.
  • the The controller 150 may check a third area related to the selected one object from the new image.
  • the preset deletion menu displayed on the display unit 130 is selected after the one of the objects is selected, the event is maintained in a touch (or selection) state for more than a preset time for the one of the objects.
  • a touch gesture is detected by the user of the image generating apparatus 100 for the one object.
  • the touch gesture by the user of the image generating device 100 is tap, touch & hold, double tap, drag, flick, drag and drop (drag & drop), pinch, swipe, and the like.
  • a “tap” is an operation in which a user touches a screen (including objects, geographical names, additional information, etc.) using a finger or a touch tool (for example, an electronic pen), and then immediately lifts the screen without moving. Indicates.
  • “Touch & Hold” means a threshold time (eg, after a user touches a screen (including, for example, an object, a place name, additional information, etc.) using a finger or a touch tool (eg, an electronic pen) 2 seconds) Indicates an operation that maintains abnormal touch input. That is, it means that the time difference between the touch-in time and the touch-out time is greater than or equal to a threshold time (eg, 2 seconds).
  • a feedback signal may be provided visually, aurally, or tactilely when the touch input is maintained for a threshold time or longer.
  • the threshold time may be changed according to an implementation example.
  • Double tap refers to an operation in which a user double-touches a screen (including, for example, an object, a place name, and additional information) using a finger or a touch tool (stylus).
  • Drag means that a user touches a finger or a touch tool on the screen (including objects, geographical names, additional information, etc.) and then moves the finger or touch tool to another location on the screen while maintaining touch. It means operation. Due to the drag operation, the object is moved or a panning operation to be described later is performed.
  • “Flick” means that a user touches a finger or a touch tool on the screen (including objects, geographical names, additional information, etc.), and then the user uses a finger or touch tool to set the critical speed (eg, 100 pixel / s). ) Indicates the drag operation. Drag (or panning) and flicks may be distinguished based on whether the speed of movement of a finger or touch tool is greater than or equal to a threshold speed (eg, 100 pixel / s).
  • a threshold speed eg, 100 pixel / s
  • Drag & drop means an operation in which a user drags and releases an object (including an object, a place name, additional information, etc.) to a predetermined position on the screen using a finger or a touch tool.
  • Pinch refers to a motion that moves in different directions while a user touches two fingers on a screen (including objects, geographical names, additional information, etc.).
  • a “swipe” is an operation of moving a certain distance in a horizontal or vertical direction while touching an object (for example, an object, a place name, additional information, etc.) on the screen with a finger or a touch tool. Movement in the diagonal direction may not be recognized as a swipe event.
  • the event is the image generation device 100 that is a movement of the image generation device 100 detected through a sensor unit (not shown) included in the image generation device 100 after the selection of any one object ),
  • a sensor unit not shown
  • the movement of the image generating device 100 in the up / down direction, the left / right direction, or the diagonal direction more than a predetermined number of times Or when the shaking / reciprocating motion is detected, when the rotation of the image generating device 100 in a clockwise / counterclockwise direction more than a predetermined number of times is detected, the user (or the user) photographed through the camera unit 110
  • the gaze of the user of the image generating apparatus 100 may further include a case in which the selected object is maintained for a predetermined time or longer.
  • control unit 150 when any one of the objects included in the new image displayed on the display unit 130 is selected, when the preset editing menu displayed on the display unit 130 is selected, the It operates in edit mode, and it is possible to check a third area associated with any one selected object in the new image.
  • controller 150 deletes a third area associated with any one of the identified objects from the new image.
  • controller 150 generates another new image by replacing the third area in the new image in which the third area is deleted with the color around the third area (or the one object).
  • the controller 150 deletes a third area associated with the one object from the new image.
  • the controller 150 deletes regions (or sub-regions) associated with the one object existing in the identified third region from the plurality of images for each of the plurality of images.
  • the controller 150 synthesizes a third region in a plurality of images in which a region related to the one object is deleted, and thus, an image (or image) in which the one object is deleted in the third region. )
  • the generated third replacement image includes coordinate information corresponding to the third region.
  • the size and shape of the generated third replacement image may be the same as the size and shape of the third region.
  • the controller 150 synthesizes (or adds) the generated third replacement image (or third replacement region) to the deleted third region in the new image to generate another new image (or another completed image). You may.
  • the controller 150 may synthesize the third replacement image in the deleted third area in the new image based on coordinate information corresponding to the third area included in the generated third replacement image.
  • the generated new image may be a state in which the object selected by the user is deleted from the new image, and the third replacement image is replaced in an area in which the object selected by the user is deleted.
  • the controller 150 deletes a third area associated with the one object from the new image. Also, the controller 150 may copy and paste a specific portion of the new image according to the user's selection to the deleted third area in the new image to generate the other new image.
  • controller 150 deletes a third area associated with the one object from the new image.
  • controller 150 may create another new image by pasting another image (or emoticon) according to the user's selection to the deleted third area in the new image.
  • controller 150 displays the result of performing the editing function (or another new image generated by performing the editing function) on the display unit 130.
  • the image generating device 100 is different from the surrounding background color.
  • the surrounding background color For example, a person wearing blue and black clothes against the sky, a person wearing red clothes in a yellow rapeseed field, etc.
  • the color is visible, select the object and delete it, and the color around it naturally Use to create another new image, if desired, to copy and paste another part to create another new image, or to create another new image by synthesizing an alternate image created according to that part.
  • the image generating apparatus 100 deletes an object having movement (or movement) from a plurality of images acquired through the camera unit 110 in a reference image, and the object in the reference image is After generating the replacement image corresponding to the deleted area, a new image is generated by synthesizing (or adding) the generated replacement image to the area where the object in the reference image is deleted, and providing the generated new image to the user By doing so, even if the user takes a picture in a place where there are many people, such as tourist spots, other users moving around may be excluded and the user and the background-oriented picture may be provided.
  • a moving object can be automatically identified and removed from a plurality of consecutive images including one or more objects photographed at the same location, thereby generating an image including only desired objects whose motion is maintained.
  • the technical configuration according to the embodiment of the present invention may be implemented as one app (or application).
  • FIGS. 2 to 3 are flowcharts illustrating an image generating method according to an embodiment of the present invention.
  • a preset button formed on one side of the image generating device 100 is clicked (or touched / selected) or a preset shooting menu (or shot item) displayed on one side of the display 130 is selected (or touched / clicked) ),
  • the camera unit 110 acquires (or shoots) a plurality of original images using a continuous shooting function (or continuous shooting function) at a preset time interval.
  • the camera unit 110 may acquire 20 originals through a continuous shooting function at preset time intervals (for example, 0.1 second intervals). Acquire an image (S210).
  • the controller 150 stores a plurality of original images, which are the obtained originals, in the storage unit 120 and generates a plurality of images (or a plurality of copy images) that are copies of the plurality of original images.
  • the controller 150 sets the first image (or first image) among the plurality of images as a reference image.
  • the controller 150 may set a specific image located in a specific order among the plurality of images or a specific image according to a user selection as a reference image.
  • the controller 150 recognizes one or more objects included in the plurality of images, respectively.
  • object recognition included in the image one or more of various known object recognition methods may be used.
  • the object includes a person, an object (for example, a building, a car, a mountain, etc.).
  • control unit 150 generates 20 images (or 20 copy images) corresponding to the acquired 20 original images, respectively, and is first acquired among the created 20 images (or The first image) is set as a reference image.
  • control unit 150 includes a first user 410, a second user 420, a car 430, a tree 440, and a billboard included in the generated 20 images. (450), the building 460 and the like are respectively recognized (S220).
  • the controller 150 checks (or calculates) distances and coordinates between objects recognized in each image for each of the plurality of images.
  • the coordinates may be relative coordinates based on a preset reference position (or reference coordinate) with respect to the image (for example, a corner of the lower left corner of the image).
  • control unit 150 may recognize the first user 410, the second user 420, the vehicle 430, the tree 440, and the billboard 450 recognized in each image for each of the 20 images. And the coordinates corresponding to the building 460 and the like, and the distance between the first user 410 and the second user 420 and the vehicle 430 recognized in each image is checked (or calculated), respectively.
  • control unit 150 may include 1-1 coordinates and a second user 420 corresponding to the first user 410 recognized in the first image among the 20 images.
  • control unit 150 includes at least one object without movement (or movement) among the objects included in the image by checking (or comparing) distances and coordinates between objects in two consecutive images among the plurality of images, At least one object with movement is identified (or discriminated / verified), respectively.
  • control unit 150 compares the distance and coordinates between objects identified in each of the successive images among the plurality of images, and at least one without movement among one or more objects included in the successive images Each of the objects and at least one object with movement is identified.
  • the control unit 150 may include 1-1 coordinates and 2-1 associated with a first user included in each of the first and second consecutive images among 20 images. Coordinates, 1-2 coordinates and 2-2 coordinates associated with a second user, 1-3 coordinates and 2-3 coordinates associated with a vehicle, etc., with respect to the distance between the first user and the second user 1-1 distance and 2-1 distance, 1-2 distance and 2-2 distance related to the distance between the first user and the car, 1-3 distance and distance related to the distance between the second user and the car A first user 410, a car 430, a tree 440, a billboard 450, a building 460 that maintains a fixed position among the first and second images by comparing 2-3 distances, respectively. ), And the second user 420 whose position is shifted to the right among the first image and the second image The.
  • control unit 150 may include 2-1 coordinates and 3-1 coordinates associated with the first user included in each of the second and 3 consecutive images among the 20 images, and the second associated with the second user. -2 coordinates and 3-2 coordinates, 2-3 coordinates and 3-3 coordinates related to a vehicle, and 2-1 and 3-1 distances related to the distance between the first user and the second user Wow, the 2nd and 3rd distances related to the distance between the first user and the vehicle, and the 2nd to 3rd distances and the 3rd to 3rd distance related to the distance between the second user and the vehicle are compared, respectively , Identify a first user 410, a car 430, a tree 440, a billboard 450, a building 460, etc., which maintain a fixed position among the second image and the third image, and the second Among the images and the third image, the second user 420 whose position is shifted to the right is identified.
  • the controller 150 compares the coordinates of the individual objects and the distance between the objects for two consecutive images or a plurality of images for a total of 20 images, so that there are no moving objects and no moving objects in the multiple images.
  • the object may be identified (S240).
  • the controller 150 identifies (or sets) a first area (or coordinate) associated with at least one object having movement (or movement) in the reference image.
  • the first area related to the object having the movement may be in the form of a rectangle, a circle, an ellipse, a triangle, etc. including the object with the movement.
  • control unit 150 may identify a second area related to at least one object having movement (or movement) with respect to the plurality of images.
  • the second area may be an area formed by combining coordinates of individual areas each including at least one object with movement among the plurality of images.
  • the controller 150 identifies a first area associated with at least one object with movement based on the reference image, or a second area associated with at least one object with movement toward the plurality of images. You can check the area.
  • the controller 150 identifies a first area 510 including a second user having movement in the first image that is the reference image.
  • control unit 150 may respectively include a first sub-region 601 to a twentieth sub-region 620 including the second user with the movement for each of the 20 images. After confirming, the identified first sub-region 601 to the twentieth sub-region 620 are all combined to confirm (or generate) the second region 630 which is one region (S250).
  • the controller 150 deletes the first area associated with at least one object having the identified movement (or movement) from the reference image.
  • the control unit 150 may control regions (or sub-regions) associated with at least one object having a movement (or movement) existing in the first region among the images other than the reference image among the plurality of images, respectively. Delete it.
  • controller 150 may delete regions related to at least one object having the movement (or movement) from the remaining images other than the reference image among the plurality of images, respectively.
  • controller 150 may delete regions (or sub-regions) associated with at least one object having movement (or movement) existing in the identified second region from the plurality of images for each of the plurality of images, respectively. have.
  • the controller 150 deletes the first area 510 including the second user with the identified movement from the first image, which is the reference image shown in FIG. 5, as shown in FIG. 7 ( Indicated by hatched) (710).
  • the control unit 150 is an area associated with a second user having movement existing in the first area 510 for each of the second to 20th images among the 20 images. Each of them is deleted (for example, an area indicated by a hatched line in FIG. 8) 810.
  • the control unit 150 is a region related to a second user having movement among the first regions 510 in the second image to the twentieth image (for example, hatched in FIG. 8) Only the area marked with 810 is deleted, and areas not related to the second user (eg, 820 and 830 in FIG. 8) are maintained.
  • control unit 150 may include regions 601, 602, ... related to a second user having movement existing in the second region 630 for each of the 20 images shown in FIG. 6. 620) are deleted (901, 902, ..., 920), respectively, as shown in FIG.
  • the control unit 150 is an area related to a second user having movement among the second areas 630 in the first to 20th images (for example, in FIG. 9) Only the areas marked with hatched areas (901, 902, ...., 920) are deleted, and areas not related to the second user (for example, 930 in FIG. 9) are maintained (S260).
  • the controller 150 synthesizes a first region in the remaining images in which the region associated with the at least one object having the movement (or movement) is deleted, and at least one having the movement in the first region.
  • a first replacement image (or first replacement area) corresponding to an image (or image) in which the object is deleted is generated.
  • the generated first replacement image includes coordinate information corresponding to the first region.
  • the size and shape (or shape / shape) of the generated first replacement image corresponds (or the same) to the size and shape of the first region.
  • the control unit 150 may perform image correction (or image interpolation) or the like on the first regions in the remaining images.
  • the controller 150 synthesizes a second region in a plurality of images in which a region related to at least one object having the movement (or movement) is deleted, and at least one having the movement within the second region.
  • a second replacement image (or second replacement area) corresponding to an image (or image) in which the object is deleted may be generated.
  • the generated second replacement image includes coordinate information corresponding to the second region.
  • the size and shape (or shape / shape) of the generated second replacement image corresponds to (or the same as) the size and shape of the second region.
  • control unit 150 may remove the area associated with the second user from the second image to the twentieth image in which the area associated with the second user with movement shown in FIG. 8 is respectively deleted.
  • the size and shape of the first region are the same, and a second user is deleted in the first region
  • a first replacement image 1010 corresponding to the image (or image) of the image is generated.
  • control unit 150 may delete the regions related to the second user from the first image to the 20th image in which the regions related to the second user with movement shown in FIG. 9 are respectively deleted.
  • the control unit 150 may delete the regions related to the second user from the first image to the 20th image in which the regions related to the second user with movement shown in FIG. 9 are respectively deleted.
  • the second regions 630 in the first image to the twentieth image, as shown in FIG. 11 the size and shape of the second region are the same, and the second user is deleted in the second region.
  • a second replacement image 1110 corresponding to the image (or image) of the state is generated (S270).
  • the controller 150 synthesizes (or adds) the generated first replacement image (or first replacement region) to the deleted first region in the reference image to generate a new image (or a completed image).
  • the controller 150 may synthesize the first replacement image in the deleted first region in the reference image based on coordinate information corresponding to the first region included in the generated first replacement image.
  • the generated new image may be a state in which at least one object having the movement is deleted from the reference image, and the first replacement image is replaced in an area where the at least one object is deleted.
  • the controller 150 deletes the second area from the reference image, and synthesizes (or adds) the generated second replacement image (or second replacement area) to the deleted second area in the reference image. To create a new image (or finished image).
  • the controller 150 may synthesize the second replacement image in the second deleted area in the reference image based on coordinate information corresponding to the second area included in the generated second replacement image.
  • the controller 150 may include a first area (or first) in an image in which at least one object with movement is not included.
  • the first replacement image (or second replacement image) is generated based on the second region), the first region (or second region) is deleted from the reference image, and the deleted first region (in the reference image)
  • the new image may be generated by synthesizing (or adding) the generated first replacement image (or second replacement image) to the second region).
  • control unit 150 synthesizes the first replacement image 1010 generated in FIG. 10 to the deleted first area 710 in the reference image shown in FIG. 7, as shown in FIG. 12.
  • a first new image 1210 is generated.
  • control unit 150 deletes (displayed as hatched) the second area including the second user from the reference image (1310), and deletes the reference image from the reference image.
  • a second new image 1410 is generated as shown in FIG. 14 by synthesizing the second replacement image 1110 generated in FIG. 11 in the second area 1310 (S280).
  • control unit 150 displays the generated new image (or completed image) on the display unit 130.
  • control unit 150 displays the generated first new image 1500 on the display unit 130.
  • the controller 150 displays the generated second new image 1600 on the display 130 (S290).
  • control unit 150 displays the display unit 130 according to user input (or user selection / control). Edit function is performed on the new image.
  • control unit 150 operates in an edit mode.
  • the controller 150 selects the selected one from the new image.
  • the third area associated with the selected one object may be in the form of a rectangle, circle, ellipse, triangle, etc., including the corresponding one object.
  • the The controller 150 may check a third area related to the selected one object from the new image.
  • the preset deletion menu displayed on the display unit 130 is selected after the one of the objects is selected, the event is maintained in a touch (or selection) state for more than a preset time for the one of the objects.
  • a touch gesture is detected by the user of the image generating apparatus 100 for the one object.
  • the touch gesture by the user of the image generating device 100 includes a tap, touch & hold, double tap, drag, flick, drag and drop, pinch, swipe, and the like.
  • controller 150 deletes a third area associated with any one of the identified objects from the new image.
  • controller 150 generates another new image by replacing the third area in the new image in which the third area is deleted with the color around the third area (or the one object).
  • the controller 150 deletes a third area associated with the one object from the new image.
  • the controller 150 deletes regions (or sub-regions) associated with the one object existing in the identified third region from the plurality of images for each of the plurality of images.
  • the controller 150 synthesizes a third region in a plurality of images in which a region related to the one object is deleted, and thus, an image (or image) in which the one object is deleted in the third region. )
  • the generated third replacement image includes coordinate information corresponding to the third region.
  • the size and shape of the generated third replacement image may be the same as the size and shape of the third region.
  • the controller 150 synthesizes (or adds) the generated third replacement image (or third replacement region) to the deleted third region in the new image to generate another new image (or another completed image). You may.
  • the controller 150 may synthesize the third replacement image in the deleted third area in the new image based on coordinate information corresponding to the third area included in the generated third replacement image.
  • the generated new image may be a state in which the object selected by the user is deleted from the new image, and the third replacement image is replaced in an area in which the object selected by the user is deleted.
  • the controller 150 deletes a third area associated with the one object from the new image. Also, the controller 150 may copy and paste a specific portion of the new image according to the user's selection to the deleted third area in the new image to generate the other new image.
  • controller 150 deletes a third area associated with the one object from the new image.
  • controller 150 may create another new image by pasting another image (or emoticon) according to the user's selection to the deleted third area in the new image.
  • controller 150 displays the result of performing the editing function (or another new image generated by performing the editing function) on the display unit 130.
  • the controller 150 operates in an edit mode, and the display unit 130 shown in FIG. 15
  • the third region 1710 associated with the selected vehicle 1540 is checked in the first new image 1500, and the identified vehicle
  • the outer portion of the third area 1710 associated with (1540) is marked with a dotted line.
  • controller 150 deletes (indicated by hatching) 1810 a third area 1710 associated with the selected vehicle 1540 from the first new image 1500 as illustrated in FIG. 18.
  • controller 150 deletes each of the third areas related to the vehicle for each of the first to 20th images related to the first new image.
  • the controller 150 synthesizes a third area in the first image to the twentieth image in which the third area related to the vehicle is deleted, so that an image (or image) in which the vehicle is deleted in the third area ) To generate a third replacement image (or a third replacement area).
  • controller 150 generates a third new image by synthesizing the generated third replacement image in the deleted third area in the first new image.
  • the controller 150 displays the generated third new image 1900 on the display 130 (S300).
  • moving objects are automatically identified and removed from a plurality of successive images including one or more objects photographed at the same location, and thus images containing only desired objects whose motion is maintained
  • images containing only desired objects By generating the image, even if an image is captured in a place where there are many people, such as a tourist attraction, an image including only a desired object can be obtained, thereby increasing user interest.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 이미지 생성 장치 및 그 방법을 개시한다. 즉, 본 발명은 동일 위치에서 촬영된 하나 이상의 객체를 포함하는 연속된 복수의 이미지에서 움직이는 객체를 자동으로 확인 및 제거하여, 움직임이 그대로 유지된 원하는 객체만을 포함하는 이미지를 생성함으로써, 관광지 등의 사람이 많은 장소에서 영상을 촬영하더라도 원하는 객체만이 포함된 영상을 획득할 수 있어 사용자의 관심을 높일 수 있다.

Description

이미지 생성 장치 및 그 방법
본 발명은 이미지 생성 장치 및 그 방법에 관한 것으로, 특히 동일 위치에서 촬영된 하나 이상의 객체를 포함하는 연속된 복수의 이미지에서 움직이는 객체를 자동으로 확인 및 제거하여, 움직임이 그대로 유지된 원하는 객체만을 포함하는 이미지를 생성하는 이미지 생성 장치 및 그 방법에 관한 것이다.
일반적으로, 이동 단말기(Mobile Terminal)는, GPS(Global Positioning System) 기능 및 통화 기능(또는, 호(call) 기능)을 수행하여, 그 수행 결과를 사용자에게 제공하는 장치이다.
상기 이동 단말기는 음성통화, 문자전송서비스 외에도 휴대용 카메라를 탑재하여 언제 어디서나 손쉽게 원하는 이미지를 촬영할 수 있을 뿐만 아니라, 화상정보의 전송 및 화상통화 등 다양한 기능을 지원할 수 있다. 이와 같이 화상통신이 가능한 이동 단말기는 카메라가 내장되어 있는 카메라 내장형과 카메라가 별도로 마련되어 이동 단말기 본체에 꽂아 사용하는 카메라 부착형으로 구분된다.
이러한 이동 단말기는 촬영된 이미지를 불러와서 확대 표시하거나 사용자의 편익을 위한 간단한 편집 기능을 제공하는데 그치고 있다.
또한, 유명 관광지 등에서 이동 단말기를 이용하여 사진을 촬영하고자 하는 경우, 사진을 찍으려는 다른 사람들이 많기 때문에, 사진 촬영을 희망하는 사용자를 중심으로 촬영을 하더라도, 사용자 주변의 이동 중인 다른 사람들이나 사물이 함께 찍혀, 원하는 사진을 얻을 수 없는 상태이다.
본 발명의 목적은 동일 위치에서 촬영된 하나 이상의 객체를 포함하는 연속된 복수의 이미지에서 움직이는 객체를 자동으로 확인 및 제거하여, 움직임이 그대로 유지된 원하는 객체만을 포함하는 이미지를 생성하는 이미지 생성 장치 및 그 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 이미지 생성 장치는 복수의 원본 이미지를 획득하는 카메라부; 상기 카메라부에 의해 획득된 복수의 원본 이미지에 대해 복사본인 복수의 이미지를 생성하고, 상기 복수의 이미지 내에 포함된 하나 이상의 객체를 각각 인식하고, 상기 복수의 이미지별로 각 이미지 내에서 인식된 객체 간의 거리 및 좌표를 각각 확인하고, 상기 복수의 이미지 중 연속된 2개의 이미지에서 객체 간의 거리 및 좌표 확인을 통해 이미지 내에 포함된 객체 중에서 이동이 없는 적어도 하나의 객체와, 이동이 있는 적어도 하나의 객체를 각각 식별하고, 상기 기준 이미지에서 상기 이동이 있는 적어도 하나의 객체와 관련한 제 1 영역을 확인하고, 상기 기준 이미지에서 상기 확인된 이동이 있는 적어도 하나의 객체와 관련한 제 1 영역을 삭제하고, 상기 복수의 이미지 중 상기 기준 이미지를 제외한 나머지 이미지들에서 상기 제 1 영역 내에 존재하는 상기 이동이 있는 적어도 하나의 객체와 관련한 영역을 각각 삭제하고, 상기 이동이 있는 적어도 하나의 객체와 관련한 영역이 삭제된 나머지 이미지들 내의 제 1 영역을 합성하여, 상기 제 1 영역 내에서 상기 이동이 있는 적어도 하나의 객체가 삭제된 상태의 영상에 대응하는 제 1 대체 이미지를 생성하고, 상기 기준 이미지 내의 삭제된 제 1 영역에 상기 생성된 제 1 대체 이미지를 합성하여 새로운 이미지를 생성하는 제어부; 및 상기 생성된 새로운 이미지를 표시하는 표시부를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 제 1 대체 이미지는, 상기 제 1 영역에 대응하는 좌표 정보를 포함하며, 상기 제 1 대체 이미지의 크기 및 모양은, 상기 제 1 영역의 크기 및 형상에 대응할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부는, 상기 제 1 대체 이미지에 포함된 제 1 영역에 대응하는 좌표 정보를 근거로 상기 기준 이미지 내의 삭제된 제 1 영역에 상기 제 1 대체 이미지를 합성하여 상기 새로운 이미지를 생성할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부는, 상기 복수의 이미지를 대상으로 상기 이동이 있는 적어도 하나의 객체와 관련한 제 2 영역을 확인하고, 상기 복수의 이미지별로 상기 복수의 이미지에서 상기 확인된 제 2 영역 내에 존재하는 상기 이동이 있는 적어도 하나의 객체와 관련한 영역을 각각 삭제하고, 상기 이동이 있는 적어도 하나의 객체와 관련한 영역이 삭제된 복수의 이미지 내의 제 2 영역을 합성하여, 상기 제 2 영역 내에서 상기 이동이 있는 적어도 하나의 객체가 삭제된 상태의 영상에 대응하는 제 2 대체 이미지를 생성하고, 상기 기준 이미지에서 상기 제 2 영역을 삭제하고, 상기 기준 이미지 내의 삭제된 제 2 영역에 상기 생성된 제 2 대체 이미지를 합성하여 상기 새로운 이미지를 생성할 수 있다.
본 발명의 실시예에 따른 이미지 생성 방법은 카메라부에 의해, 복수의 원본 이미지를 획득하는 단계; 제어부에 의해, 상기 카메라부에 의해 획득된 복수의 원본 이미지에 대해 복사본인 복수의 이미지를 생성하는 단계; 상기 제어부에 의해, 상기 복수의 이미지 내에 포함된 하나 이상의 객체를 각각 인식하는 단계; 상기 제어부에 의해, 상기 복수의 이미지별로 각 이미지 내에서 인식된 객체 간의 거리 및 좌표를 각각 확인하는 단계; 상기 제어부에 의해, 상기 복수의 이미지 중 연속된 2개의 이미지에서 객체 간의 거리 및 좌표 확인을 통해 이미지 내에 포함된 객체 중에서 이동이 없는 적어도 하나의 객체와, 이동이 있는 적어도 하나의 객체를 각각 식별하는 단계; 상기 제어부에 의해, 상기 복수의 이미지를 대상으로 상기 이동이 있는 적어도 하나의 객체와 관련한 제 2 영역을 확인하는 단계; 상기 제어부에 의해, 상기 복수의 이미지별로 상기 복수의 이미지에서 상기 확인된 제 2 영역 내에 존재하는 상기 이동이 있는 적어도 하나의 객체와 관련한 영역을 각각 삭제하는 단계; 상기 제어부에 의해, 상기 이동이 있는 적어도 하나의 객체와 관련한 영역이 삭제된 복수의 이미지 내의 제 2 영역을 합성하여, 상기 제 2 영역 내에서 상기 이동이 있는 적어도 하나의 객체가 삭제된 상태의 영상에 대응하는 제 2 대체 이미지를 생성하는 단계; 상기 제어부에 의해, 상기 기준 이미지에서 상기 제 2 영역을 삭제하고, 상기 기준 이미지 내의 삭제된 제 2 영역에 상기 생성된 제 2 대체 이미지를 합성하여 새로운 이미지를 생성하는 단계; 및 상기 제어부에 의해, 상기 생성된 새로운 이미지를 표시부에 표시하도록 제어하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부에 의해, 상기 기준 이미지에서 상기 이동이 있는 적어도 하나의 객체와 관련한 제 1 영역을 확인하는 단계; 상기 제어부에 의해, 상기 기준 이미지에서 상기 확인된 이동이 있는 적어도 하나의 객체와 관련한 제 1 영역을 삭제하고, 상기 복수의 이미지 중 상기 기준 이미지를 제외한 나머지 이미지들에서 상기 제 1 영역 내에 존재하는 상기 이동이 있는 적어도 하나의 객체와 관련한 영역을 각각 삭제하는 단계; 상기 제어부에 의해, 상기 이동이 있는 적어도 하나의 객체와 관련한 영역이 삭제된 나머지 이미지들 내의 제 1 영역을 합성하여, 상기 제 1 영역 내에서 상기 이동이 있는 적어도 하나의 객체가 삭제된 상태의 영상에 대응하는 제 1 대체 이미지를 생성하는 단계; 및 상기 제어부에 의해, 상기 기준 이미지 내의 삭제된 제 1 영역에 상기 생성된 제 1 대체 이미지를 합성하여 상기 새로운 이미지를 생성하는 단계를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 표시부의 일측에 표시되는 미리 설정된 편집 메뉴가 선택될 때, 상기 제어부에 의해, 사용자 입력에 따라 상기 표시부에 표시되는 새로운 이미지에 대해 편집 기능을 수행하는 단계; 및 상기 표시부에 의해, 편집 기능 수행 결과를 표시하는 단계를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 새로운 이미지에 대해 편집 기능을 수행하는 단계는, 사용자 입력에 따라 상기 표시부에 표시되는 새로운 이미지에 포함된 객체 중에서 어느 하나의 객체가 선택될 때, 상기 제어부에 의해, 상기 새로운 이미지에서 상기 선택된 어느 하나의 객체와 관련한 제 3 영역을 확인하는 과정; 상기 제어부에 의해, 상기 새로운 이미지에서 상기 확인된 어느 하나의 객체와 관련한 제 3 영역을 삭제하는 과정; 상기 제어부에 의해, 상기 제 3 영역이 삭제된 새로운 이미지 내의 제 3 영역을 상기 제 3 영역 주변의 색상으로 대체하여 다른 새로운 이미지를 생성하는 과정; 상기 제어부에 의해, 상기 복수의 이미지별로 상기 복수의 이미지에서 상기 확인된 제 3 영역 내에 존재하는 상기 어느 하나의 객체와 관련한 영역을 각각 삭제하고, 상기 어느 하나의 객체와 관련한 영역이 삭제된 복수의 이미지 내의 제 3 영역을 합성하여, 상기 제 3 영역 내에서 상기 어느 하나의 객체가 삭제된 상태의 영상에 대응하는 제 3 대체 이미지를 생성하고, 상기 새로운 이미지 내의 삭제된 제 3 영역에 상기 생성된 제 3 대체 이미지를 합성하여 상기 다른 새로운 이미지를 생성하는 과정; 상기 제어부에 의해, 상기 새로운 이미지 내의 삭제된 제 3 영역에 사용자 선택에 따른 상기 새로운 이미지 내의 특정 부분을 복사해서 붙여 넣어 상기 다른 새로운 이미지를 생성하는 과정; 및 상기 제어부에 의해, 상기 새로운 이미지 내의 삭제된 제 3 영역에 사용자 선택에 따른 다른 이미지를 붙여 넣어 상기 다른 새로운 이미지를 생성하는 과정 중 적어도 하나의 과정을 포함할 수 있다.
본 발명은 동일 위치에서 촬영된 하나 이상의 객체를 포함하는 연속된 복수의 이미지에서 움직이는 객체를 자동으로 확인 및 제거하여, 움직임이 그대로 유지된 원하는 객체만을 포함하는 이미지를 생성함으로써, 관광지 등의 사람이 많은 장소에서 영상을 촬영하더라도 원하는 객체만이 포함된 영상을 획득할 수 있어 사용자의 관심을 높일 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 이미지 생성 장치의 구성을 나타낸 블록도이다.
도 2 내지 도 3은 본 발명의 실시예에 따른 이미지 생성 방법을 나타낸 흐름도이다.
도 4 내지 도 19는 본 발명의 실시예에 따른 이미지 생성에 따른 예를 나타낸 도이다.
도 1은 본 발명의 실시예에 따른 이미지 생성 장치(100)의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 이미지 생성 장치(100)는 카메라부(110), 저장부(120), 표시부(130), 음성 출력부(140) 및 제어부(150)로 구성된다. 도 1에 도시된 이미지 생성 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 이미지 생성 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 이미지 생성 장치(100)가 구현될 수도 있다.
상기 이미지 생성 장치(100)는 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치 등과 같은 다양한 단말기에 적용될 수 있다.
또한, 상기 이미지 생성 장치(100)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결하는 통신부(미도시)를 더 포함할 수 있다.
상기 카메라부(110)는 영상 통화 모드, 촬영 모드, 영상 회의 모드 등에서 이미지 센서(카메라 모듈 또는 카메라)에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 즉, 코덱(CODEC)에 따라 상기 이미지 센서에 의해 얻어지는 해당 화상 데이터들을 각 규격에 맞도록 인코딩/디코딩한다. 상기 처리된 화상 프레임은 상기 제어부(150)의 제어에 의해 상기 표시부(130)에 표시될 수 있다. 일 예로, 상기 카메라는 객체(또는 피사체)(예를 들어 상품, 사용자 등 포함)를 촬영하고, 그 촬영된 영상(피사체 영상)에 대응하는 비디오 신호를 출력한다.
또한, 상기 카메라부(110)에서 처리된 화상 프레임은 상기 저장부(120)에 저장되거나 상기 통신부를 통해 상기 서버나 상기 다른 단말로 전송될 수 있다.
또한, 상기 카메라부(110)는 360도 카메라(미도시)를 통해 획득된(또는 촬영된) 파노라마 영상(또는 파노라마 영상 정보)을 상기 제어부(150)에 제공할 수도 있다. 이때, 상기 360도 카메라는 2차원 또는 3차원 형태의 파노라마 영상을 촬영할 수 있다.
상기 이미지 생성 장치(100)의 일측에 형성된 미리 설정된 버튼이 클릭(또는 터치/선택)되거나 또는 표시부(130)의 일측에 표시되는 미리 설정된 촬영 메뉴(또는 촬영 항목)가 선택(또는 터치/클릭)되는 경우, 상기 카메라부(110)는 미리 설정된 시간 간격으로 연속 촬영 기능(또는 연사 기능)을 사용하여 복수의 원본 이미지를 획득(또는 촬영)한다.
본 발명의 실시예에서는 상기 획득되는 복수의 원본 이미지가 상기 카메라부(110)에 포함된 연속 촬영 기능에 의해 획득되는 것으로 설명하고 있으나, 이에 한정되는 것은 아니며, 일반 촬영 기능에 의해 획득되는 복수의 원본 이미지일 수도 있다.
또한, 상기 카메라부(110)는 미리 설정된 촬영 시간(예를 들어 10초) 동안 미리 설정된 시간 간격으로 촬영 기능을 수행하여 상기 복수의 원본 이미지를 획득할 수도 있다.
이때, 상기 일반 촬영 기능에 의해 복수의 원본 이미지가 획득되는 경우, 해당 복수의 원본 이미지가 서로 다른 초점(또는 다초점)으로 촬영된 상태일 수 있으므로, 해당 복수의 원본 이미지 내에 포함된 특정 객체를 중심으로 이미지 보정(또는 이미지 보간) 등을 통해 해당 복수의 원본 이미지가 일부 보정(또는 수정/편집)될 수도 있다.
즉, 상기 카메라부(110)는 멀티 포커싱(또는 다초점)을 처음부터 시행하여, 멀티 포커싱에 따른 복수의 객체가 포함된 원본 이미지를 획득할 수 있다.
또한, 상기 카메라부(110)는 사용자 제어(또는 사용자 선택/터치)에 따라 추가로 사용자가 포커싱하고자 하는 영역을 상기 멀티 포커싱에 추가하여, 해당 사용자가 포커싱하고자 하는 영역과 관련한 사물(또는 사람)이 포함된 원본 이미지를 획득할 수 있다.
예를 들어, 상기 카메라부(110)는 복수의 사용자에 대한 멀티 포커싱 상태에서 화면에 임시 표시되는 특정 객체(예를 들어 에펠탑, 동상 등 포함)가 선택되는 경우, 상기 선택된 특정 객체에 대해서도 포커싱을 맞춰준 상태에서 상기 복수의 사용자와 상기 특정 객체에 대한 원본 이미지를 획득할 수도 있다.
또한, 상기 카메라부(110)는 손떨림 보정 기능 등을 통해, 사진을 촬영하는 사람의 손이 약간 떨리거나 움직이더라도 이에 대한 오차로 발생하였을 가능성이 있는 미세한 차이는 자동 보정 기능을 적용할 수도 있다.
상기 저장부(120)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.
또한, 상기 저장부(120)는 상기 이미지 생성 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.
즉, 상기 저장부(120)는 상기 이미지 생성 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이미지 생성 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 이미지 생성 장치(100)의 기본적인 기능을 위하여 출고 당시부터 이미지 생성 장치(100)상에 존재할 수 있다. 한편, 응용 프로그램은 상기 저장부(120)에 저장되고, 이미지 생성 장치(100)에 설치되어, 제어부(150)에 의하여 상기 이미지 생성 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한, 상기 저장부(120)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 이미지 생성 장치(100)는 인터넷(internet)상에서 저장부(120)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.
또한, 상기 저장부(120)는 상기 카메라부(110)를 통해 촬영된(또는 획득된) 영상(예를 들어 정지 영상, 동영상 등 포함) 등을 저장한다.
상기 표시부(또는 디스플레이부)(130)는 상기 제어부(150)의 제어에 의해 상기 저장부(120)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 상기 표시부(130)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 표시부(130)는 터치 스크린 일 수 있다.
또한, 상기 표시부(130)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.
또한, 상기 표시부(130)는 상기 제어부(150)의 제어에 의해 상기 카메라부(110)를 통해 촬영된(또는 획득된) 영상(예를 들어 정지 영상, 동영상 등 포함) 등을 표시한다.
상기 음성 출력부(140)는 상기 제어부(150)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 상기 음성 출력부(140)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
또한, 상기 음성 출력부(140)는 상기 제어부(150)에 의해 생성된 안내 음성을 출력한다.
또한, 상기 음성 출력부(140)는 상기 제어부(150)에 의해 상기 카메라부(110)를 통해 촬영된(또는 획득된) 영상(예를 들어 정지 영상, 동영상 등 포함) 등에 대응하는 음성 정보(또는 음향 효과)를 출력한다.
상기 제어부(controller, 또는 MCU(microcontroller unit)(150)는 상기 이미지 생성 장치(100)의 전반적인 제어 기능을 실행한다.
또한, 상기 제어부(150)는 상기 저장부(120)에 저장된 프로그램 및 데이터를 이용하여 이미지 생성 장치(100)의 전반적인 제어 기능을 실행한다. 상기 제어부(150)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 저장부(120)에 액세스하여, 상기 저장부(120)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 상기 저장부(120)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
또한, 제어부(150)는 상기 획득된 원본인 복수의 원본 이미지를 저장부(120)에 저장하고, 상기 복수의 원본 이미지에 대한 복사본인 복수의 이미지(또는 복수의 복사본 이미지)를 생성한다. 이때, 상기 제어부(150)는 상기 복수의 이미지 중에서 첫 번째 이미지(또는 제 1 이미지)를 기준 이미지로 설정한다. 여기서, 상기 제어부(150)는 상기 복수의 이미지 중에서 특정 순서에 위치한 특정 이미지 또는 사용자 선택에 따른 특정 이미지를 기준 이미지로 설정할 수도 있다.
또한, 상기 제어부(150)는 상기 복수의 이미지 내에 포함된 하나 이상의 객체를 각각 인식한다. 여기서, 상기 이미지 내에 포함된 객체 인식의 경우, 공지된 다양한 객체 인식 방법 중 하나 이상의 방법을 사용할 수 있다. 이때, 상기 객체는 사람, 사물(예를 들어 건물, 자동차, 산 등 포함) 등을 포함한다.
또한, 상기 복수의 이미지에 포함된 하나 이상의 객체를 인식하는 경우, 상기 제어부(150)는 상기 카메라부(110)를 통해 이미지를 획득할 때 포커스된 영역을 중심으로 미리 설정된 반경 이내에 위치한 하나 이상의 객체를 인식할 수 있다. 이에 따라, 이미지 내에서 고정된 건물, 나무, 산 등에 대한 인식 과정이 생략되어, 객체 인식 시간을 단축시키고 시스템 효율을 높일 수 있다.
또한, 상기 제어부(150)는 상기 복수의 이미지별로 각 이미지 내에서 인식된 객체 간의 거리 및 좌표를 확인(또는 산출)한다. 여기서, 상기 좌표는 이미지에 대해서 미리 설정된 기준 위치(또는 기준 좌표)(예를 들어 이미지의 왼쪽 하단부의 모서리)를 근거로 한 상대적인 좌표일 수 있다.
또한, 상기 제어부(150)는 상기 복수의 이미지 중 연속된 2개의 이미지에서 객체 간의 거리 및 좌표 확인(또는 비교)을 통해 이미지 내에 포함된 객체 중에서 이동(또는 움직임)이 없는 적어도 하나의 객체와, 이동이 있는 적어도 하나의 객체를 각각 식별(또는 판별/확인)한다.
즉, 상기 제어부(150)는 상기 복수의 이미지 중에서 연속된 이미지를 대상으로 연속된 이미지 각각에서 확인된 객체 간의 거리 및 좌표를 비교하여, 연속된 이미지에 포함된 하나 이상의 객체 중에서 이동이 없는 적어도 하나의 객체 및 이동이 있는 적어도 하나의 객체를 각각 식별한다.
또한, 상기 제어부(150)는 상기 기준 이미지에서 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 제 1 영역(또는 좌표)을 확인(또는 설정)한다. 이때, 상기 이동이 있는 객체와 관련한 제 1 영역은 해당 이동이 있는 객체를 포함할 수 있도록 사각형, 원형, 타원형, 삼각형 등의 형태일 수 있으며, 해당 이동이 있는 객체를 포함할 수 있도록 해당 객체의 외곽선(또는 윤곽선)으로부터 미리 설정된 픽셀 수만큼을 더 포함(또는 확장)할 수 있다.
또한, 상기 제어부(150)는 상기 복수의 이미지를 대상으로 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 제 2 영역을 확인할 수도 있다. 이때, 상기 제 2 영역은 상기 복수의 이미지 중에서 상기 이동이 있는 적어도 하나의 객체를 각각 포함하는 개별 영역의 좌표를 모두 합쳐 하나로 만든 영역일 수 있다.
이와 같이, 상기 제어부(150)는 상기 기준 이미지를 근거로 이동이 있는 적어도 하나의 객체와 관련한 제 1 영역을 확인하거나 또는, 상기 복수의 이미지를 대상으로 이동이 있는 적어도 하나의 객체와 관련한 제 2 영역을 확인할 수 있다.
또한, 상기 제어부(150)는 상기 기준 이미지에서 상기 확인된 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 제 1 영역을 삭제한다. 또한, 상기 제어부(150)는 상기 복수의 이미지 중 상기 기준 이미지를 제외한 나머지 이미지들에서 상기 제 1 영역 내에 존재하는 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 영역(또는 서브 영역)을 각각 삭제한다.
또한, 상기 제어부(150)는 상기 복수의 이미지 중 상기 기준 이미지를 제외한 나머지 이미지들에서 상기 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 영역을 각각 삭제할 수도 있다.
이때, 상기 나머지 이미지들의 상기 제 1 영역 중에서 상기 이동이 있는 적어도 하나의 객체와 관련한 영역이 각각 삭제되고, 해당 이동이 있는 적어도 하나의 객체와 관련없는 영역은 그대로 유지된다.
또한, 상기 제어부(150)는 상기 복수의 이미지별로 상기 복수의 이미지에서 상기 확인된 제 2 영역 내에 존재하는 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 영역(또는 서브 영역)을 각각 삭제할 수도 있다.
또한, 상기 제어부(150)는 상기 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 영역이 삭제된 나머지 이미지들 내의 제 1 영역을 합성하여, 해당 제 1 영역 내에서 상기 이동이 있는 적어도 하나의 객체가 삭제된 상태의 영상(또는 이미지)에 대응하는 제 1 대체 이미지(또는 제 1 대체 영역)를 생성한다. 여기서, 상기 생성되는 제 1 대체 이미지는 상기 제 1 영역에 대응하는 좌표 정보를 포함한다. 또한, 상기 생성되는 제 1 대체 이미지의 크기 및 모양(또는 형태/형상)은 상기 제 1 영역의 크기 및 형상에 대응(또는 동일)한다. 이때, 상기 제어부(150)는 상기 나머지 이미지들 내의 제 1 영역들에 대해서 이미지 보정(또는 이미지 보간) 등을 수행할 수도 있다.
또한, 상기 제어부(150)는 상기 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 영역이 삭제된 복수의 이미지 내의 제 2 영역을 합성하여, 해당 제 2 영역 내에서 상기 이동이 있는 적어도 하나의 객체가 삭제된 상태의 영상(또는 이미지)에 대응하는 제 2 대체 이미지(또는 제 2 대체 영역)를 생성할 수도 있다. 여기서, 상기 생성되는 제 2 대체 이미지는 상기 제 2 영역에 대응하는 좌표 정보를 포함한다. 또한, 상기 생성되는 제 2 대체 이미지의 크기 및 모양(또는 형태/형상)은 상기 제 2 영역의 크기 및 형상에 대응(또는 동일)한다.
또한, 상기 제어부(150)는 상기 기준 이미지 내의 삭제된 제 1 영역에 상기 생성된 제 1 대체 이미지(또는 제 1 대체 영역)를 합성(또는 추가)하여 새로운 이미지(또는 완성 이미지)를 생성한다. 여기서, 상기 제어부(150)는 상기 생성된 제 1 대체 이미지에 포함된 제 1 영역에 대응하는 좌표 정보를 근거로 상기 기준 이미지 내의 삭제된 제 1 영역에 상기 제 1 대체 이미지를 합성할 수 있다. 이때, 상기 생성된 새로운 이미지는 상기 기준 이미지에서 상기 이동이 있는 적어도 하나의 객체가 삭제되고, 상기 적어도 하나의 객체가 삭제된 영역에 상기 제 1 대체 이미지가 대체된 상태일 수 있다.
또한, 상기 제어부(150)는 상기 기준 이미지에서 상기 제 2 영역을 삭제하고, 상기 기준 이미지 내의 삭제된 제 2 영역에 상기 생성된 제 2 대체 이미지(또는 제 2 대체 영역)를 합성(또는 추가)하여 새로운 이미지(또는 완성 이미지)를 생성할 수도 있다. 여기서, 상기 제어부(150)는 상기 생성된 제 2 대체 이미지에 포함된 제 2 영역에 대응하는 좌표 정보를 근거로 상기 기준 이미지 내의 삭제된 제 2 영역에 상기 제 2 대체 이미지를 합성할 수 있다.
이때, 상기 복수의 이미지 중에서 상기 이동이 있는 적어도 하나의 객체가 포함되지 않은 이미지가 있는 경우, 상기 제어부(150)는 상기 이동이 있는 적어도 하나의 객체가 포함되지 않은 이미지 내의 제 1 영역(또는 제 2 영역)을 근거로 상기 제 1 대체 이미지(또는 제 2 대체 이미지)를 생성하고, 상기 기준 이미지에서 상기 제 1 영역(또는 제 2 영역)을 삭제하고, 상기 기준 이미지 내의 삭제된 제 1 영역(또는 제 2 영역)에 상기 생성된 제 1 대체 이미지(또는 제 2 대체 이미지)를 합성(또는 추가)하여 상기 새로운 이미지를 생성할 수도 있다.
또한, 상기 제어부(150)는 상기 생성된 새로운 이미지(또는 완성 이미지)를 상기 표시부(130)에 표시한다.
이와 같이, 상기 카메라부(110)를 통해 획득된 이미지(또는 사진)에서 촬영 대상뿐만 아니라 다른 사람들이 계속 걷거나 움직이고 있는 상태에서 함께 촬영된 경우, 상기 복수의 이미지 내에서 계속 나오지 않고 움직이며 사라지기 때문에, 상기 제어부(150)는 상기 복수의 이미지를 대상으로 공통으로 유지되는 영역들을 이용해서 완성품인 새로운 이미지를 만들 수 있다.
이에 따라, 상기 제어부(150)는 자연히 아주 먼 거리에 있는 구름이나 촬영 배경으로 사용되는 산, 건물 등의 경우에는 고정된 위치에서 그대로 남아 있고, 계속 같은 자세를 유지하고 있는 촬영 대상자만 사진 속에 남아 있으며, 나머지 지나가는(또는 이동하는/움직이는) 사람들은 모두 사라진(또는 삭제된) 상기 새로운 이미지를 만들 수 있다.
또한, 상기 표시부(130)의 일측에 표시되는 미리 설정된 편집 메뉴(또는 편집 항목)가 선택되는 경우, 상기 제어부(150)는 사용자 입력(또는 사용자 선택/제어)에 따라 상기 표시부(130)에 표시되는 새로운 이미지에 대해 편집 기능을 수행한다.
즉, 상기 표시부(130)의 일측에 표시되는 편집 메뉴(또는 편집 항목)가 선택되는 경우, 상기 제어부(150)는 편집 모드로 작동한다.
또한, 사용자 입력(또는 사용자 선택/제어)에 따라 상기 표시부(130)에 표시되는 새로운 이미지에 포함된 객체 중에서 어느 하나의 객체가 선택되면, 상기 제어부(150)는 상기 새로운 이미지에서 상기 선택된 어느 하나의 객체와 관련한 제 3 영역(또는 좌표)을 확인(또는 설정)한다. 여기서, 상기 선택된 어느 하나의 객체와 관련한 제 3 영역은 해당 어느 하나의 객체를 포함하는 사각형, 원형, 타원형, 삼각형 등의 형태일 수 있다.
이때, 상기 사용자 입력(또는 사용자 선택/제어)에 따라 상기 표시부(130)에 표시되는 새로운 이미지에 포함된 객체 중에서 어느 하나의 객체(또는 복수의 객체)에 대해 미리 설정된 이벤트가 발생하는 경우, 상기 제어부(150)는 상기 새로운 이미지에서 상기 선택된 어느 하나의 객체와 관련한 제 3 영역을 확인할 수도 있다. 여기서, 상기 이벤트는 상기 어느 하나의 객체가 선택된 후 상기 표시부(130)에 표시되는 미리 설정된 삭제 메뉴가 선택되는 경우, 상기 어느 하나의 객체에 대해 미리 설정된 시간 이상 터치(또는 선택) 상태가 유지되는 경우, 상기 어느 하나의 객체에 대해 상기 이미지 생성 장치(100)의 사용자에 의한 터치 제스처가 감지되는 경우 등을 포함한다. 여기서, 상기 이미지 생성 장치(100)의 사용자에 의한 터치 제스처는 탭(tap), 터치&홀드(touch & hold), 더블 탭(double tap), 드래그(drag), 플릭(flick), 드래그 앤드 드롭(drag & drop), 핀치(pinch), 스와이프(swipe) 등을 포함한다.
"탭(tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면(예를 들어 객체, 지명, 부가 정보 등 포함)을 터치한 후 움직이지 않은 채 화면에서 즉시 들어올리는 동작을 나타낸다.
"터치&홀드(touch & hold)"는 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면(예를 들어 객체, 지명, 부가 정보 등 포함)을 터치한 후, 임계 시간(예컨대, 2초) 이상 터치 입력을 유지하는 동작을 나타낸다. 즉, 터치-인 시점과 터치-아웃 시점 간의 시간 차이가 임계 시간(예컨대, 2초) 이상인 경우를 의미한다. 터치 입력이 탭인지 터치&홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적 또는 촉각적으로 피드백 신호를 제공할 수도 있다. 상기 임계 시간은 구현 예에 따라서 변경될 수 있다.
"더블 탭(double tap)"은 사용자가 손가락이나 터치 도구(stylus)를 이용하여 화면(예를 들어 객체, 지명, 부가 정보 등 포함)을 두 번 터치하는 동작을 나타낸다.
"드래그(drag)"는 사용자가 손가락이나 터치 도구를 화면(예를 들어 객체, 지명, 부가 정보 등 포함)에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 화면 내의 다른 위치로 이동시키는 동작을 의미한다. 드래그 동작으로 인하여 오브젝트가 이동되거나 후술할 패닝 동작이 수행된다.
"플릭(flick)"은 사용자가 손가락이나 터치 도구를 화면(예를 들어 객체, 지명, 부가 정보 등 포함)에 터치한 후 사용자가 손가락이나 터치 도구를 이용하여 임계 속도(예컨대, 100 pixel/s) 이상으로 드래그하는 동작을 나타낸다. 손가락이나 터치 도구의 이동 속도가 임계 속도(예컨대, 100 pixel/s) 이상인지에 기초하여 드래그(또는 패닝)와 플릭을 구별할 수 있다.
"드래그 앤드 드롭(drag & drop)"은 사용자가 손가락이나 터치 도구를 이용해 오브젝트(예를 들어 객체, 지명, 부가 정보 등 포함)를 화면 내 소정 위치에 드래그한 후 놓는 동작을 의미한다.
"핀치(pinch)"는 사용자가 두 손가락을 화면(예를 들어 객체, 지명, 부가 정보 등 포함) 위에 터치한 상태에서 서로 다른 방향으로 움직이는 동작을 나타낸다.
"스와이프(swipe)"는 손가락이나 터치 도구로 화면 위의 오브젝트(예를 들어 객체, 지명, 부가 정보 등 포함)를 터치한 상태에서 수평 또는 수직 방향으로 일정 거리를 움직이는 동작이다. 사선 방향의 움직임은 스와이프 이벤트로 인식되지 않을 수 있다.
또한, 상기 이벤트는 상기 어느 하나의 객체가 선택된 후, 상기 이미지 생성 장치(100)에 포함된 센서부(미도시)를 통해 감지되는 상기 이미지 생성 장치(100)의 움직임인 상기 이미지 생성 장치(100)의 상/하/좌/우 방향으로의 미리 설정된 임계값 이상의 기울임이 감지되는 경우, 상기 이미지 생성 장치(100)의 상/하 방향이나 좌/우 방향이나 대각선 방향으로의 일정 횟수 이상의 움직임(또는 흔들림/왕복 운동)이 감지되는 경우, 상기 이미지 생성 장치(100)의 시계/반시계 방향으로의 일정 횟수의 이상의 회전이 감지되는 경우, 상기 카메라부(110)를 통해 촬영되는 사용자(또는 상기 이미지 생성 장치(100)의 사용자)의 시선이 해당 선택된 객체에 일정 시간 이상 유지되는 경우 등을 더 포함할 수 있다.
여기서, 상기 제어부(150)는 상기 표시부(130)에 표시되는 새로운 이미지에 포함된 객체 중에서 어느 하나의 객체가 선택된 후, 상기 표시부(130)에 표시되는 미리 설정된 상기 편집 메뉴가 선택되는 경우, 상기 편집 모드로 작동하며, 상기 새로운 이미지에서 상기 선택된 어느 하나의 객체와 관련한 제 3 영역을 확인할 수도 있다.
또한, 상기 제어부(150)는 상기 새로운 이미지에서 상기 확인된 어느 하나의 객체와 관련한 제 3 영역을 삭제한다. 또한, 상기 제어부(150)는 상기 제 3 영역이 삭제된 새로운 이미지 내의 제 3 영역을 상기 제 3 영역(또는 상기 어느 하나의 객체) 주변의 색상으로 대체하여 다른 새로운 이미지를 생성한다.
또한, 상기 제어부(150)는 상기 새로운 이미지에서 상기 어느 하나의 객체와 관련한 제 3 영역을 삭제한다. 또한, 상기 제어부(150)는 상기 복수의 이미지별로 상기 복수의 이미지에서 상기 확인된 제 3 영역 내에 존재하는 상기 어느 하나의 객체와 관련한 영역(또는 서브 영역)을 각각 삭제한다. 또한, 상기 제어부(150)는 상기 어느 하나의 객체와 관련한 영역이 삭제된 복수의 이미지 내의 제 3 영역을 합성하여, 해당 제 3 영역 내에서 상기 어느 하나의 객체가 삭제된 상태의 영상(또는 이미지)에 대응하는 제 3 대체 이미지(또는 제 3 대체 영역)를 생성한다. 여기서, 상기 생성되는 제 3 대체 이미지는 상기 제 3 영역에 대응하는 좌표 정보를 포함한다. 또한, 상기 생성되는 제 3 대체 이미지의 크기 및 모양은 상기 제 3 영역의 크기 및 모양과 동일할 수 있다. 또한, 상기 제어부(150)는 상기 새로운 이미지 내의 삭제된 제 3 영역에 상기 생성된 제 3 대체 이미지(또는 제 3 대체 영역)를 합성(또는 추가)하여 다른 새로운 이미지(또는 다른 완성 이미지)를 생성할 수도 있다. 여기서, 상기 제어부(150)는 상기 생성된 제 3 대체 이미지에 포함된 제 3 영역에 대응하는 좌표 정보를 근거로 상기 새로운 이미지 내의 삭제된 제 3 영역에 상기 제 3 대체 이미지를 합성할 수 있다. 이때, 상기 생성된 다른 새로운 이미지는 상기 새로운 이미지에서 사용자가 선택한 객체가 삭제되고, 상기 사용자가 선택한 객체가 삭제된 영역에 상기 제 3 대체 이미지가 대체된 상태일 수 있다.
또한, 상기 제어부(150)는 상기 새로운 이미지에서 상기 어느 하나의 객체와 관련한 제 3 영역을 삭제한다. 또한, 상기 제어부(150)는 상기 새로운 이미지 내의 삭제된 제 3 영역에 사용자 선택에 따른 상기 새로운 이미지 내의 특정 부분을 복사해서 붙여 넣어 상기 다른 새로운 이미지를 생성할 수도 있다.
또한, 상기 제어부(150)는 상기 새로운 이미지에서 상기 어느 하나의 객체와 관련한 제 3 영역을 삭제한다. 또한, 상기 제어부(150)는 상기 새로운 이미지 내의 삭제된 제 3 영역에 사용자 선택에 따른 다른 이미지(또는 이모티콘) 등을 붙여 넣어 상기 다른 새로운 이미지를 생성할 수도 있다.
또한, 상기 제어부(150)는 편집 기능 수행 결과(또는 편집 기능 수행에 따라 생성된 다른 새로운 이미지)를 상기 표시부(130)에 표시한다.
이와 같은 추가 편집 기능을 통해, 상기 생성된 새로운 이미지에서 촬영 대상뿐만 아니라 다른 사람도 사진을 찍기 위해서 계속 같은 자리에 위치하고 있거나 원하지 않는 대상체가 있는 경우, 상기 이미지 생성 장치(100)는 주위 배경색과 다르게(예를 들어 하늘을 배경으로 하는 푸른색에 검은색 옷을 입은 사람, 노란색 유채꽃밭에 있는 빨간색 옷을 입은 사람 등 포함) 색상이 보이는 경우 해당 객체를 선택하여 삭제하고, 그 주위의 색상을 자연스럽게 사용하여 다른 새로운 이미지를 생성하거나, 원하는 경우 다른 부분을 복사해서 붙여 넣어 다른 새로운 이미지를 생성하거나, 해당 부분에 따라 생성된 대체 이미지를 합성하여 다른 새로운 이미지를 생성할 수 있다.
또한, 이와 같이, 상기 이미지 생성 장치(100)는 상기 카메라부(110)를 통해 획득된 복수의 이미지를 대상으로 움직임(또는 이동)이 있는 객체를 기준 이미지 내에서 삭제하고, 기준 이미지 내의 객체가 삭제된 영역에 대응하는 대체 이미지를 생성한 후, 상기 기준 이미지 내의 객체가 삭제된 영역에 상기 생성된 대체 이미지를 합성(또는 추가)하여 새로운 이미지를 생성하고, 상기 생성된 새로운 이미지를 사용자에게 제공함으로써, 사용자가 관광지 등의 사람이 많은 곳에서 사진을 찍더라도, 주변에서 이동하는 다른 사용자들이 제외되고 사용자와 배경 위주의 사진을 제공받을 수 있도록 할 수 있다.
또한, 이와 같이, 동일 위치에서 촬영된 하나 이상의 객체를 포함하는 연속된 복수의 이미지에서 움직이는 객체를 자동으로 확인 및 제거하여, 움직임이 그대로 유지된 원하는 객체만을 포함하는 이미지를 생성할 수 있다.
본 발명의 실시예에 따른 기술적 구성은 하나의 앱(또는 애플리케이션)으로 구현될 수도 있다.
이하에서는, 본 발명에 따른 이미지 생성 방법을 도 1 내지 도 19를 참조하여 상세히 설명한다.
도 2 내지 도 3은 본 발명의 실시예에 따른 이미지 생성 방법을 나타낸 흐름도이다.
먼저, 이미지 생성 장치(100)의 일측에 형성된 미리 설정된 버튼이 클릭(또는 터치/선택)되거나 또는 표시부(130)의 일측에 표시되는 미리 설정된 촬영 메뉴(또는 촬영 항목)가 선택(또는 터치/클릭)되는 경우, 카메라부(110)는 미리 설정된 시간 간격으로 연속 촬영 기능(또는 연사 기능)을 사용하여 복수의 원본 이미지를 획득(또는 촬영)한다.
일 예로, 상기 이미지 생성 장치(100)의 일측에 형성된 제 1 버튼이 클릭될 때, 상기 카메라부(110)는 미리 설정된 시간 간격(예를 들어 0.1초 간격)으로 연속 촬영 기능을 통해 20장의 원본 이미지를 획득한다(S210).
이후, 제어부(150)는 상기 획득된 원본인 복수의 원본 이미지를 저장부(120)에 저장하고, 상기 복수의 원본 이미지에 대한 복사본인 복수의 이미지(또는 복수의 복사본 이미지)를 생성한다. 이때, 상기 제어부(150)는 상기 복수의 이미지 중에서 첫 번째 이미지(또는 제 1 이미지)를 기준 이미지로 설정한다. 여기서, 상기 제어부(150)는 상기 복수의 이미지 중에서 특정 순서에 위치한 특정 이미지 또는 사용자 선택에 따른 특정 이미지를 기준 이미지로 설정할 수도 있다.
또한, 상기 제어부(150)는 상기 복수의 이미지 내에 포함된 하나 이상의 객체를 각각 인식한다. 여기서, 상기 이미지 내에 포함된 객체 인식의 경우, 공지된 다양한 객체 인식 방법 중 하나 이상의 방법을 사용할 수 있다. 이때, 상기 객체는 사람, 사물(예를 들어 건물, 자동차, 산 등 포함) 등을 포함한다.
일 예로, 상기 제어부(150)는 상기 획득된 20장의 원본 이미지에 각각 대응하는 복사본인 20장의 이미지(또는 20장의 복사본 이미지)를 각각 생성하고, 상기 생성된 20장의 이미지 중에서 첫 번째 획득된(또는 촬영된) 제 1 이미지를 기준 이미지로 설정한다.
또한, 도 4에 도시된 바와 같이, 상기 제어부(150)는 상기 생성된 20장의 이미지에 포함된 제 1 사용자(410), 제 2 사용자(420), 자동차(430), 나무(440), 광고판(450), 건물(460) 등을 각각 인식한다(S220).
이후, 상기 제어부(150)는 상기 복수의 이미지별로 각 이미지 내에서 인식된 객체 간의 거리 및 좌표를 확인(또는 산출)한다. 여기서, 상기 좌표는 이미지에 대해서 미리 설정된 기준 위치(또는 기준 좌표)(예를 들어 이미지의 왼쪽 하단부의 모서리)를 근거로한 상대적인 좌표일 수 있다.
일 예로, 상기 제어부(150)는 상기 20장의 이미지 각각에 대해서 각 이미지 내에서 인식된 제 1 사용자(410)와 제 2 사용자(420)와 자동차(430)와 나무(440)와 광고판(450)과 건물(460) 등에 대응하는 좌표 및, 상기 각 이미지 내에서 인식된 제 1 사용자(410)와 제 2 사용자(420)와 자동차(430) 간의 거리를 각각 확인(또는 산출)한다.
즉, 상기 도 4에 도시된 바와 같이, 상기 제어부(150)는 상기 20장의 이미지 중 제 1 이미지 내에서 인식된 제 1 사용자(410)에 대응하는 제 1-1 좌표, 제 2 사용자(420)에 대응하는 제 1-2 좌표, 자동차(430)에 대응하는 제 1-3 좌표 등과, 상기 제 1 이미지 내에서의 제 1 사용자와 제 2 사용자 간의 제 1-1 거리, 제 1 사용자와 자동차 간의 제 1-2 거리, 제 2 사용자와 자동차 간의 제 1-3 거리 등을 확인하고, 상기 20장의 이미지 중 제 2 이미지 내에서 인식된 제 1 사용자(410)에 대응하는 제 2-1 좌표, 제 2 사용자(420)에 대응하는 제 2-2 좌표, 자동차(430)에 대응하는 제 2-3 좌표 등과, 상기 제 2 이미지 내에서의 제 1 사용자와 제 2 사용자 간의 제 2-1 거리, 제 1 사용자와 자동차 간의 제 2-2 거리, 제 2 사용자와 자동차 간의 제 2-3 거리 등을 확인하고, 상기 20장의 이미지 중 제 3 이미지 내에서 인식된 제 1 사용자(410)에 대응하는 제 3-1 좌표, 제 2 사용자(420)에 대응하는 제 3-2 좌표, 자동차(430)에 대응하는 제 3-3 좌표 등과, 상기 제 3 이미지 내에서의 제 1 사용자와 제 2 사용자 간의 제 3-1 거리, 제 1 사용자와 자동차 간의 제 3-2 거리, 제 2 사용자와 자동차 간의 제 3-3 거리 등을 확인하는 과정 등을 통해 상기 20장의 이미지에 대해서, 각 이미지 내에서 인식된 객체의 좌표, 객체 간의 거리 등을 확인한다(S230).
이후, 상기 제어부(150)는 상기 복수의 이미지 중 연속된 2개의 이미지에서 객체 간의 거리 및 좌표 확인(또는 비교)을 통해 이미지 내에 포함된 객체 중에서 이동(또는 움직임)이 없는 적어도 하나의 객체와, 이동이 있는 적어도 하나의 객체를 각각 식별(또는 판별/확인)한다.
즉, 상기 제어부(150)는 상기 복수의 이미지 중에서 연속된 이미지를 대상으로 연속된 이미지 각각에서 확인된 객체 간의 거리 및 좌표를 비교하여, 연속된 이미지에 포함된 하나 이상의 객체 중에서 이동이 없는 적어도 하나의 객체 및 이동이 있는 적어도 하나의 객체를 각각 식별한다.
일 예로, 상기 도 4에 도시된 바와 같이, 상기 제어부(150)는 20장의 이미지 중에서 연속된 제 1 이미지와 제 2 이미지에 각각 포함된 제 1 사용자와 관련한 제 1-1 좌표 및 제 2-1 좌표와, 제 2 사용자와 관련한 제 1-2 좌표 및 제 2-2 좌표와, 자동차와 관련한 제 1-3 좌표 및 제 2-3 좌표 등과, 상기 제 1 사용자와 제 2 사용자 간의 거리와 관련한 제 1-1 거리 및 제 2-1 거리, 상기 제 1 사용자와 자동차 간의 거리와 관련한 제 1-2 거리 및 제 2-2 거리, 상기 제 2 사용자와 자동차 간의 거리와 관련한 제 1-3 거리 및 제 2-3 거리 등을 각각 비교하여, 상기 제 1 이미지와 제 2 이미지 중에서 고정된 위치를 유지하는 제 1 사용자(410), 자동차(430), 나무(440), 광고판(450), 건물(460) 등을 식별하고, 상기 제 1 이미지와 제 2 이미지 중에서 위치가 오른쪽으로 이동된 제 2 사용자(420)를 식별한다.
또한, 상기 제어부(150)는 20장의 이미지 중에서 연속된 제 2 이미지와 제 3 이미지에 각각 포함된 제 1 사용자와 관련한 제 2-1 좌표 및 제 3-1 좌표와, 제 2 사용자와 관련한 제 2-2 좌표 및 제 3-2 좌표와, 자동차와 관련한 제 2-3 좌표 및 제 3-3 좌표 등과, 상기 제 1 사용자와 제 2 사용자 간의 거리와 관련한 제 2-1 거리 및 제 3-1 거리와, 상기 제 1 사용자와 자동차 간의 거리와 관련한 제 2-2 거리 및 제 3-2 거리, 상기 제 2 사용자와 자동차 간의 거리와 관련한 제 2-3 거리 및 제 3-3 거리 등을 각각 비교하여, 상기 제 2 이미지와 제 3 이미지 중에서 고정된 위치를 유지하는 제 1 사용자(410), 자동차(430), 나무(440), 광고판(450), 건물(460) 등을 식별하고, 상기 제 2 이미지와 제 3 이미지 중에서 위치가 오른쪽으로 이동된 제 2 사용자(420)를 식별한다.
이와 같이, 상기 제어부(150)는 총 20장의 이미지에 대해서 연속된 2장의 이미지 혹은 복수의 이미지에 대한 개별 객체의 좌표와 객체 간의 거리 비교를 통해, 복수의 이미지에서 이동이 있는 객체와 이동이 없는 객체를 식별할 수 있다(S240).
이후, 상기 제어부(150)는 상기 기준 이미지에서 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 제 1 영역(또는 좌표)을 확인(또는 설정)한다. 이때, 상기 이동이 있는 객체와 관련한 제 1 영역은 해당 이동이 있는 객체를 포함하는 사각형, 원형, 타원형, 삼각형 등의 형태일 수 있다.
또한, 상기 제어부(150)는 상기 복수의 이미지를 대상으로 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 제 2 영역을 확인할 수도 있다. 이때, 상기 제 2 영역은 상기 복수의 이미지 중에서 상기 이동이 있는 적어도 하나의 객체를 각각 포함하는 개별 영역의 좌표를 모두 합쳐 하나로 만든 영역일 수 있다.
이와 같이, 상기 제어부(150)는 상기 기준 이미지를 근거로 이동이 있는 적어도 하나의 객체와 관련한 제 1 영역을 확인하거나 또는, 상기 복수의 이미지를 대상으로 이동이 있는 적어도 하나의 객체와 관련한 제 2 영역을 확인할 수 있다.
일 예로, 도 5에 도시된 바와 같이, 상기 제어부(150)는 상기 기준 이미지인 제 1 이미지에서 이동이 있는 제 2 사용자를 포함하는 제 1 영역(510)을 확인한다.
다른 일 예로, 도 6에 도시된 바와 같이, 상기 제어부(150)는 상기 20장의 이미지별로 상기 이동이 있는 제 2 사용자를 포함하는 제 1 서브 영역(601) 내지 제 20 서브 영역(620)을 각각 확인하고, 상기 확인된 제 1 서브 영역(601) 내지 제 20 서브 영역(620)을 모두 합쳐 하나의 영역인 제 2 영역(630)을 확인(또는 생성)한다(S250).
이후, 상기 제어부(150)는 상기 기준 이미지에서 상기 확인된 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 제 1 영역을 삭제한다. 또한, 상기 제어부(150)는 상기 복수의 이미지 중 상기 기준 이미지를 제외한 나머지 이미지들에서 상기 제 1 영역 내에 존재하는 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 영역(또는 서브 영역)을 각각 삭제한다.
또한, 상기 제어부(150)는 상기 복수의 이미지 중 상기 기준 이미지를 제외한 나머지 이미지들에서 상기 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 영역을 각각 삭제할 수도 있다.
또한, 상기 제어부(150)는 상기 복수의 이미지별로 상기 복수의 이미지에서 상기 확인된 제 2 영역 내에 존재하는 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 영역(또는 서브 영역)을 각각 삭제할 수도 있다.
일 예로, 상기 제어부(150)는 상기 도 5에 도시된 기준 이미지인 제 1 이미지에서 상기 확인된 이동이 있는 제 2 사용자를 포함하는 제 1 영역(510)을 도 7에 도시된 바와 같이 삭제(빗금으로 표시)(710)한다. 또한, 도 8에 도시된 바와 같이, 상기 제어부(150)는 상기 20장의 이미지 중에서 제 2 이미지 내지 제 20 이미지 각각에 대해서 상기 제 1 영역(510) 내에 존재하는 이동이 있는 제 2 사용자와 관련한 영역을 각각 삭제(예를 들어 도 8에서 빗금으로 표시된 영역)(810)한다. 이때, 상기 도 8에 도시된 바와 같이, 상기 제어부(150)는 제 2 이미지 내지 제 20 이미지 내의 제 1 영역(510) 중에서 이동이 있는 제 2 사용자와 관련한 영역(예를 들어 상기 도 8에서 빗금으로 표시된 영역)(810)만을 삭제하고, 제 2 사용자와 관련없는 영역(예를 들어 도 8에서 820, 830)은 그대로 유지한다.
다른 일 예로, 상기 제어부(150)는 상기 도 6에 도시된 20장의 이미지 각각에 대해서 상기 제 2 영역(630) 내에 존재하는 이동이 있는 제 2 사용자와 관련한 영역(601, 602, ... , 620)을 도 9에 도시된 바와 같이 각각 삭제(901, 902, ... , 920)한다. 이때, 상기 도 9에 도시된 바와 같이, 상기 제어부(150)는 상기 제 1 이미지 내지 제 20 이미지 내의 제 2 영역(630) 중에서 이동이 있는 제 2 사용자와 관련한 영역(예를 들어 상기 도 9에서 빗금으로 표시된 영역)(901, 902, .... , 920)만을 삭제하고, 제 2 사용자와 관련없는 영역(예를 들어 상기 도 9에서 930)은 그대로 유지한다(S260).
이후, 상기 제어부(150)는 상기 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 영역이 삭제된 나머지 이미지들 내의 제 1 영역을 합성하여, 해당 제 1 영역 내에서 상기 이동이 있는 적어도 하나의 객체가 삭제된 상태의 영상(또는 이미지)에 대응하는 제 1 대체 이미지(또는 제 1 대체 영역)를 생성한다. 여기서, 상기 생성되는 제 1 대체 이미지는 상기 제 1 영역에 대응하는 좌표 정보를 포함한다. 또한, 상기 생성되는 제 1 대체 이미지의 크기 및 모양(또는 형태/형상)은 상기 제 1 영역의 크기 및 형상에 대응(또는 동일)한다. 이때, 상기 제어부(150)는 상기 나머지 이미지들 내의 제 1 영역들에 대해서 이미지 보정(또는 이미지 보간) 등을 수행할 수도 있다.
또한, 상기 제어부(150)는 상기 이동(또는 움직임)이 있는 적어도 하나의 객체와 관련한 영역이 삭제된 복수의 이미지 내의 제 2 영역을 합성하여, 해당 제 2 영역 내에서 상기 이동이 있는 적어도 하나의 객체가 삭제된 상태의 영상(또는 이미지)에 대응하는 제 2 대체 이미지(또는 제 2 대체 영역)를 생성할 수도 있다. 여기서, 상기 생성되는 제 2 대체 이미지는 상기 제 2 영역에 대응하는 좌표 정보를 포함한다. 또한, 상기 생성되는 제 2 대체 이미지의 크기 및 모양(또는 형태/형상)은 상기 제 2 영역의 크기 및 형상에 대응(또는 동일)한다.
일 예로, 상기 제어부(150)는 상기 도 8에 도시된 상기 이동이 있는 제 2 사용자와 관련한 영역을 각각 삭제한 제 2 이미지 내지 제 20 이미지에서 해당 제 2 사용자와 관련한 영역을 각각 삭제한 제 2 이미지 내지 제 20 이미지 내의 제 1 영역들(510)을 합성하여, 도 10에 도시된 바와 같이, 상기 제 1 영역의 크기 및 모양과 동일하며, 해당 제 1 영역 내에서 제 2 사용자가 삭제된 상태의 영상(또는 이미지)에 대응하는 제 1 대체 이미지(1010)를 생성한다.
다른 일 예로, 상기 제어부(150)는 상기 도 9에 도시된 상기 이동이 있는 제 2 사용자와 관련한 영역을 각각 삭제한 제 1 이미지 내지 제 20 이미지에서 해당 제 2 사용자와 관련한 영역을 각각 삭제한 제 1 이미지 내지 제 20 이미지 내의 제 2 영역들(630)을 합성하여, 도 11에 도시된 바와 같이, 상기 제 2 영역의 크기 및 모양과 동일하며, 해당 제 2 영역 내에서 제 2 사용자가 삭제된 상태의 영상(또는 이미지)에 대응하는 제 2 대체 이미지(1110)를 생성한다(S270).
이후, 상기 제어부(150)는 상기 기준 이미지 내의 삭제된 제 1 영역에 상기 생성된 제 1 대체 이미지(또는 제 1 대체 영역)를 합성(또는 추가)하여 새로운 이미지(또는 완성 이미지)를 생성한다. 여기서, 상기 제어부(150)는 상기 생성된 제 1 대체 이미지에 포함된 제 1 영역에 대응하는 좌표 정보를 근거로 상기 기준 이미지 내의 삭제된 제 1 영역에 상기 제 1 대체 이미지를 합성할 수 있다. 이때, 상기 생성된 새로운 이미지는 상기 기준 이미지에서 상기 이동이 있는 적어도 하나의 객체가 삭제되고, 상기 적어도 하나의 객체가 삭제된 영역에 상기 제 1 대체 이미지가 대체된 상태일 수 있다.
또한, 상기 제어부(150)는 상기 기준 이미지에서 상기 제 2 영역을 삭제하고, 상기 기준 이미지 내의 삭제된 제 2 영역에 상기 생성된 제 2 대체 이미지(또는 제 2 대체 영역)를 합성(또는 추가)하여 새로운 이미지(또는 완성 이미지)를 생성할 수도 있다. 여기서, 상기 제어부(150)는 상기 생성된 제 2 대체 이미지에 포함된 제 2 영역에 대응하는 좌표 정보를 근거로 상기 기준 이미지 내의 삭제된 제 2 영역에 상기 제 2 대체 이미지를 합성할 수 있다.
이때, 상기 복수의 이미지 중에서 상기 이동이 있는 적어도 하나의 객체가 포함되지 않은 이미지가 있는 경우, 상기 제어부(150)는 상기 이동이 있는 적어도 하나의 객체가 포함되지 않은 이미지 내의 제 1 영역(또는 제 2 영역)을 근거로 상기 제 1 대체 이미지(또는 제 2 대체 이미지)를 생성하고, 상기 기준 이미지에서 상기 제 1 영역(또는 제 2 영역)을 삭제하고, 상기 기준 이미지 내의 삭제된 제 1 영역(또는 제 2 영역)에 상기 생성된 제 1 대체 이미지(또는 제 2 대체 이미지)를 합성(또는 추가)하여 상기 새로운 이미지를 생성할 수도 있다.
일 예로, 상기 제어부(150)는 상기 도 7에 도시된 기준 이미지 내의 삭제된 제 1 영역(710)에 상기 도 10에서 생성된 제 1 대체 이미지(1010)를 합성하여 도 12에 도시된 바와 같이 제 1 새로운 이미지(1210)를 생성한다.
다른 일 예로, 상기 제어부(150)는 도 13에 도시된 바와 같이, 상기 기준 이미지에서 상기 제 2 사용자가 포함된 상기 제 2 영역을 삭제(빗금으로 표시)(1310)하고, 상기 기준 이미지 내의 삭제된 제 2 영역(1310)에 상기 도 11에서 생성된 제 2 대체 이미지(1110)를 합성하여 도 14에 도시된 바와 같이 제 2 새로운 이미지(1410)를 생성한다(S280).
이후, 상기 제어부(150)는 상기 생성된 새로운 이미지(또는 완성 이미지)를 상기 표시부(130)에 표시한다.
일 예로, 도 15에 도시된 바와 같이, 상기 제어부(150)는 상기 생성된 제 1 새로운 이미지(1500)를 상기 표시부(130)에 표시한다.
다른 일 예로, 도 16에 도시된 바와 같이, 상기 제어부(150)는 상기 생성된 제 2 새로운 이미지(1600)를 상기 표시부(130)에 표시한다(S290).
이후, 상기 표시부(130)의 일측에 표시되는 미리 설정된 편집 메뉴(또는 편집 항목)가 선택되는 경우, 상기 제어부(150)는 사용자 입력(또는 사용자 선택/제어)에 따라 상기 표시부(130)에 표시되는 새로운 이미지에 대해 편집 기능을 수행한다.
즉, 상기 표시부(130)의 일측에 표시되는 편집 메뉴(또는 편집 항목)가 선택되는 경우, 상기 제어부(150)는 편집 모드로 작동한다.
또한, 사용자 입력(또는 사용자 선택/제어)에 따라 상기 표시부(130)에 표시되는 새로운 이미지에 포함된 객체 중에서 어느 하나의 객체가 선택되면, 상기 제어부(150)는 상기 새로운 이미지에서 상기 선택된 어느 하나의 객체와 관련한 제 3 영역(또는 좌표)을 확인(또는 설정)한다. 여기서, 상기 선택된 어느 하나의 객체와 관련한 제 3 영역은 해당 어느 하나의 객체를 포함하는 사각형, 원형, 타원형, 삼각형 등의 형태일 수 있다.
이때, 상기 사용자 입력(또는 사용자 선택/제어)에 따라 상기 표시부(130)에 표시되는 새로운 이미지에 포함된 객체 중에서 어느 하나의 객체(또는 복수의 객체)에 대해 미리 설정된 이벤트가 발생하는 경우, 상기 제어부(150)는 상기 새로운 이미지에서 상기 선택된 어느 하나의 객체와 관련한 제 3 영역을 확인할 수도 있다. 여기서, 상기 이벤트는 상기 어느 하나의 객체가 선택된 후 상기 표시부(130)에 표시되는 미리 설정된 삭제 메뉴가 선택되는 경우, 상기 어느 하나의 객체에 대해 미리 설정된 시간 이상 터치(또는 선택) 상태가 유지되는 경우, 상기 어느 하나의 객체에 대해 상기 이미지 생성 장치(100)의 사용자에 의한 터치 제스처가 감지되는 경우 등을 포함한다. 여기서, 상기 이미지 생성 장치(100)의 사용자에 의한 터치 제스처는 탭, 터치&홀드, 더블 탭, 드래그, 플릭, 드래그 앤드 드롭, 핀치, 스와이프 등을 포함한다.
또한, 상기 제어부(150)는 상기 새로운 이미지에서 상기 확인된 어느 하나의 객체와 관련한 제 3 영역을 삭제한다. 또한, 상기 제어부(150)는 상기 제 3 영역이 삭제된 새로운 이미지 내의 제 3 영역을 상기 제 3 영역(또는 상기 어느 하나의 객체) 주변의 색상으로 대체하여 다른 새로운 이미지를 생성한다.
또한, 상기 제어부(150)는 상기 새로운 이미지에서 상기 어느 하나의 객체와 관련한 제 3 영역을 삭제한다. 또한, 상기 제어부(150)는 상기 복수의 이미지별로 상기 복수의 이미지에서 상기 확인된 제 3 영역 내에 존재하는 상기 어느 하나의 객체와 관련한 영역(또는 서브 영역)을 각각 삭제한다. 또한, 상기 제어부(150)는 상기 어느 하나의 객체와 관련한 영역이 삭제된 복수의 이미지 내의 제 3 영역을 합성하여, 해당 제 3 영역 내에서 상기 어느 하나의 객체가 삭제된 상태의 영상(또는 이미지)에 대응하는 제 3 대체 이미지(또는 제 3 대체 영역)를 생성한다. 여기서, 상기 생성되는 제 3 대체 이미지는 상기 제 3 영역에 대응하는 좌표 정보를 포함한다. 또한, 상기 생성되는 제 3 대체 이미지의 크기 및 모양은 상기 제 3 영역의 크기 및 모양과 동일할 수 있다. 또한, 상기 제어부(150)는 상기 새로운 이미지 내의 삭제된 제 3 영역에 상기 생성된 제 3 대체 이미지(또는 제 3 대체 영역)를 합성(또는 추가)하여 다른 새로운 이미지(또는 다른 완성 이미지)를 생성할 수도 있다. 여기서, 상기 제어부(150)는 상기 생성된 제 3 대체 이미지에 포함된 제 3 영역에 대응하는 좌표 정보를 근거로 상기 새로운 이미지 내의 삭제된 제 3 영역에 상기 제 3 대체 이미지를 합성할 수 있다. 이때, 상기 생성된 다른 새로운 이미지는 상기 새로운 이미지에서 사용자가 선택한 객체가 삭제되고, 상기 사용자가 선택한 객체가 삭제된 영역에 상기 제 3 대체 이미지가 대체된 상태일 수 있다.
또한, 상기 제어부(150)는 상기 새로운 이미지에서 상기 어느 하나의 객체와 관련한 제 3 영역을 삭제한다. 또한, 상기 제어부(150)는 상기 새로운 이미지 내의 삭제된 제 3 영역에 사용자 선택에 따른 상기 새로운 이미지 내의 특정 부분을 복사해서 붙여 넣어 상기 다른 새로운 이미지를 생성할 수도 있다.
또한, 상기 제어부(150)는 상기 새로운 이미지에서 상기 어느 하나의 객체와 관련한 제 3 영역을 삭제한다. 또한, 상기 제어부(150)는 상기 새로운 이미지 내의 삭제된 제 3 영역에 사용자 선택에 따른 다른 이미지(또는 이모티콘) 등을 붙여 넣어 상기 다른 새로운 이미지를 생성할 수도 있다.
또한, 상기 제어부(150)는 편집 기능 수행 결과(또는 편집 기능 수행에 따라 생성된 다른 새로운 이미지)를 상기 표시부(130)에 표시한다.
일 예로, 상기 도 15에 도시된 표시부(130)의 일측에 표시되는 편집 메뉴(1510)가 선택될 때, 상기 제어부(150)는 편집 모드로 작동하며, 상기 도 15에 도시된 표시부(130)에 표시되는 자동차(1540)가 선택되면, 도 17에 도시된 바와 같이, 상기 제 1 새로운 이미지(1500)에서 상기 선택된 자동차(1540)와 관련한 제 3 영역(1710)을 확인하고, 상기 확인된 자동차(1540)와 관련한 제 3 영역(1710)의 외곽 부분을 점선 등으로 표시한다.
또한, 상기 제어부(150)는 상기 제 1 새로운 이미지(1500)에서 상기 선택된 자동차(1540)와 관련한 제 3 영역(1710)을 도 18에 도시한 바와 같이 삭제(빗금으로 표시)(1810)한다.
또한, 상기 제어부(150)는 상기 제 1 새로운 이미지와 관련한 제 1 이미지 내지 제 20 이미지별로 상기 자동차와 관련한 제 3 영역을 각각 삭제한다.
또한, 상기 제어부(150)는 상기 자동차와 관련한 제 3 영역이 삭제된 제 1 이미지 내지 제 20 이미지 내의 제 3 영역을 합성하여, 해당 제 3 영역 내에서 상기 자동차가 삭제된 상태의 영상(또는 이미지)에 대응하는 제 3 대체 이미지(또는 제 3 대체 영역)를 생성한다.
또한, 상기 제어부(150)는 상기 제 1 새로운 이미지 내의 삭제된 제 3 영역에 상기 생성된 제 3 대체 이미지를 합성하여 제 3 새로운 이미지를 생성한다.
또한, 도 19에 도시된 바와 같이, 상기 제어부(150)는 상기 생성된 제 3 새로운 이미지(1900)를 상기 표시부(130)에 표시한다(S300).
본 발명의 실시예는 앞서 설명된 바와 같이, 동일 위치에서 촬영된 하나 이상의 객체를 포함하는 연속된 복수의 이미지에서 움직이는 객체를 자동으로 확인 및 제거하여, 움직임이 그대로 유지된 원하는 객체만을 포함하는 이미지를 생성하여, 관광지 등의 사람이 많은 장소에서 영상을 촬영하더라도 원하는 객체만이 포함된 영상을 획득할 수 있어 사용자의 관심을 높일 수 있다.

Claims (8)

  1. 복수의 원본 이미지를 획득하는 카메라부;
    상기 카메라부에 의해 획득된 복수의 원본 이미지에 대해 복사본인 복수의 이미지를 생성하고, 상기 복수의 이미지 내에 포함된 하나 이상의 객체를 각각 인식하고, 상기 복수의 이미지별로 각 이미지 내에서 인식된 객체 간의 거리 및 좌표를 각각 확인하고, 상기 복수의 이미지 중 연속된 2개의 이미지에서 객체 간의 거리 및 좌표 확인을 통해 이미지 내에 포함된 객체 중에서 이동이 없는 적어도 하나의 객체와, 이동이 있는 적어도 하나의 객체를 각각 식별하고, 상기 기준 이미지에서 상기 이동이 있는 적어도 하나의 객체와 관련한 제 1 영역을 확인하고, 상기 기준 이미지에서 상기 확인된 이동이 있는 적어도 하나의 객체와 관련한 제 1 영역을 삭제하고, 상기 복수의 이미지 중 상기 기준 이미지를 제외한 나머지 이미지들에서 상기 제 1 영역 내에 존재하는 상기 이동이 있는 적어도 하나의 객체와 관련한 영역을 각각 삭제하고, 상기 이동이 있는 적어도 하나의 객체와 관련한 영역이 삭제된 나머지 이미지들 내의 제 1 영역을 합성하여, 상기 제 1 영역 내에서 상기 이동이 있는 적어도 하나의 객체가 삭제된 상태의 영상에 대응하는 제 1 대체 이미지를 생성하고, 상기 기준 이미지 내의 삭제된 제 1 영역에 상기 생성된 제 1 대체 이미지를 합성하여 새로운 이미지를 생성하는 제어부; 및
    상기 생성된 새로운 이미지를 표시하는 표시부를 포함하는 이미지 생성 장치.
  2. 제 1 항에 있어서,
    상기 제 1 대체 이미지는,
    상기 제 1 영역에 대응하는 좌표 정보를 포함하며,
    상기 제 1 대체 이미지의 크기 및 모양은,
    상기 제 1 영역의 크기 및 형상에 대응하는 것을 특징으로 하는 이미지 생성 장치.
  3. 제 1 항에 있어서,
    상기 제어부는,
    상기 제 1 대체 이미지에 포함된 제 1 영역에 대응하는 좌표 정보를 근거로 상기 기준 이미지 내의 삭제된 제 1 영역에 상기 제 1 대체 이미지를 합성하여 상기 새로운 이미지를 생성하는 것을 특징으로 하는 이미지 생성 장치.
  4. 제 1 항에 있어서,
    상기 제어부는,
    상기 복수의 이미지를 대상으로 상기 이동이 있는 적어도 하나의 객체와 관련한 제 2 영역을 확인하고, 상기 복수의 이미지별로 상기 복수의 이미지에서 상기 확인된 제 2 영역 내에 존재하는 상기 이동이 있는 적어도 하나의 객체와 관련한 영역을 각각 삭제하고, 상기 이동이 있는 적어도 하나의 객체와 관련한 영역이 삭제된 복수의 이미지 내의 제 2 영역을 합성하여, 상기 제 2 영역 내에서 상기 이동이 있는 적어도 하나의 객체가 삭제된 상태의 영상에 대응하는 제 2 대체 이미지를 생성하고, 상기 기준 이미지에서 상기 제 2 영역을 삭제하고, 상기 기준 이미지 내의 삭제된 제 2 영역에 상기 생성된 제 2 대체 이미지를 합성하여 상기 새로운 이미지를 생성하는 것을 특징으로 하는 이미지 생성 장치.
  5. 카메라부에 의해, 복수의 원본 이미지를 획득하는 단계;
    제어부에 의해, 상기 카메라부에 의해 획득된 복수의 원본 이미지에 대해 복사본인 복수의 이미지를 생성하는 단계;
    상기 제어부에 의해, 상기 복수의 이미지 내에 포함된 하나 이상의 객체를 각각 인식하는 단계;
    상기 제어부에 의해, 상기 복수의 이미지별로 각 이미지 내에서 인식된 객체 간의 거리 및 좌표를 각각 확인하는 단계;
    상기 제어부에 의해, 상기 복수의 이미지 중 연속된 2개의 이미지에서 객체 간의 거리 및 좌표 확인을 통해 이미지 내에 포함된 객체 중에서 이동이 없는 적어도 하나의 객체와, 이동이 있는 적어도 하나의 객체를 각각 식별하는 단계;
    상기 제어부에 의해, 상기 복수의 이미지를 대상으로 상기 이동이 있는 적어도 하나의 객체와 관련한 제 2 영역을 확인하는 단계;
    상기 제어부에 의해, 상기 복수의 이미지별로 상기 복수의 이미지에서 상기 확인된 제 2 영역 내에 존재하는 상기 이동이 있는 적어도 하나의 객체와 관련한 영역을 각각 삭제하는 단계;
    상기 제어부에 의해, 상기 이동이 있는 적어도 하나의 객체와 관련한 영역이 삭제된 복수의 이미지 내의 제 2 영역을 합성하여, 상기 제 2 영역 내에서 상기 이동이 있는 적어도 하나의 객체가 삭제된 상태의 영상에 대응하는 제 2 대체 이미지를 생성하는 단계;
    상기 제어부에 의해, 상기 기준 이미지에서 상기 제 2 영역을 삭제하고, 상기 기준 이미지 내의 삭제된 제 2 영역에 상기 생성된 제 2 대체 이미지를 합성하여 새로운 이미지를 생성하는 단계; 및
    상기 제어부에 의해, 상기 생성된 새로운 이미지를 표시부에 표시하도록 제어하는 단계를 포함하는 이미지 생성 방법.
  6. 제 5 항에 있어서,
    상기 제어부에 의해, 상기 기준 이미지에서 상기 이동이 있는 적어도 하나의 객체와 관련한 제 1 영역을 확인하는 단계;
    상기 제어부에 의해, 상기 기준 이미지에서 상기 확인된 이동이 있는 적어도 하나의 객체와 관련한 제 1 영역을 삭제하고, 상기 복수의 이미지 중 상기 기준 이미지를 제외한 나머지 이미지들에서 상기 제 1 영역 내에 존재하는 상기 이동이 있는 적어도 하나의 객체와 관련한 영역을 각각 삭제하는 단계;
    상기 제어부에 의해, 상기 이동이 있는 적어도 하나의 객체와 관련한 영역이 삭제된 나머지 이미지들 내의 제 1 영역을 합성하여, 상기 제 1 영역 내에서 상기 이동이 있는 적어도 하나의 객체가 삭제된 상태의 영상에 대응하는 제 1 대체 이미지를 생성하는 단계; 및
    상기 제어부에 의해, 상기 기준 이미지 내의 삭제된 제 1 영역에 상기 생성된 제 1 대체 이미지를 합성하여 상기 새로운 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 이미지 생성 방법.
  7. 제 5 항에 있어서,
    상기 표시부의 일측에 표시되는 미리 설정된 편집 메뉴가 선택될 때, 상기 제어부에 의해, 사용자 입력에 따라 상기 표시부에 표시되는 새로운 이미지에 대해 편집 기능을 수행하는 단계; 및
    상기 표시부에 의해, 편집 기능 수행 결과를 표시하는 단계를 더 포함하는 것을 특징으로 하는 이미지 생성 방법.
  8. 제 7 항에 있어서,
    상기 새로운 이미지에 대해 편집 기능을 수행하는 단계는,
    사용자 입력에 따라 상기 표시부에 표시되는 새로운 이미지에 포함된 객체 중에서 어느 하나의 객체가 선택될 때, 상기 제어부에 의해, 상기 새로운 이미지에서 상기 선택된 어느 하나의 객체와 관련한 제 3 영역을 확인하는 과정;
    상기 제어부에 의해, 상기 새로운 이미지에서 상기 확인된 어느 하나의 객체와 관련한 제 3 영역을 삭제하는 과정;
    상기 제어부에 의해, 상기 제 3 영역이 삭제된 새로운 이미지 내의 제 3 영역을 상기 제 3 영역 주변의 색상으로 대체하여 다른 새로운 이미지를 생성하는 과정;
    상기 제어부에 의해, 상기 복수의 이미지별로 상기 복수의 이미지에서 상기 확인된 제 3 영역 내에 존재하는 상기 어느 하나의 객체와 관련한 영역을 각각 삭제하고, 상기 어느 하나의 객체와 관련한 영역이 삭제된 복수의 이미지 내의 제 3 영역을 합성하여, 상기 제 3 영역 내에서 상기 어느 하나의 객체가 삭제된 상태의 영상에 대응하는 제 3 대체 이미지를 생성하고, 상기 새로운 이미지 내의 삭제된 제 3 영역에 상기 생성된 제 3 대체 이미지를 합성하여 상기 다른 새로운 이미지를 생성하는 과정;
    상기 제어부에 의해, 상기 새로운 이미지 내의 삭제된 제 3 영역에 사용자 선택에 따른 상기 새로운 이미지 내의 특정 부분을 복사해서 붙여 넣어 상기 다른 새로운 이미지를 생성하는 과정; 및
    상기 제어부에 의해, 상기 새로운 이미지 내의 삭제된 제 3 영역에 사용자 선택에 따른 다른 이미지를 붙여 넣어 상기 다른 새로운 이미지를 생성하는 과정 중 적어도 하나의 과정을 포함하는 것을 특징으로 하는 이미지 생성 방법.
PCT/KR2019/009869 2018-09-10 2019-08-07 이미지 생성 장치 및 그 방법 WO2020054978A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/273,435 US20210192751A1 (en) 2018-09-10 2019-08-07 Device and method for generating image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180107839A KR102061867B1 (ko) 2018-09-10 2018-09-10 이미지 생성 장치 및 그 방법
KR10-2018-0107839 2018-09-10

Publications (1)

Publication Number Publication Date
WO2020054978A1 true WO2020054978A1 (ko) 2020-03-19

Family

ID=69154977

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/009869 WO2020054978A1 (ko) 2018-09-10 2019-08-07 이미지 생성 장치 및 그 방법

Country Status (3)

Country Link
US (1) US20210192751A1 (ko)
KR (1) KR102061867B1 (ko)
WO (1) WO2020054978A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111567033A (zh) * 2019-05-15 2020-08-21 深圳市大疆创新科技有限公司 拍摄装置、无人飞行器、控制终端和拍摄方法
CN113225613B (zh) * 2020-01-21 2022-07-08 北京达佳互联信息技术有限公司 图像识别、视频直播方法和装置
KR20220013235A (ko) * 2020-07-24 2022-02-04 삼성전자주식회사 영상 통화 수행 방법, 그 방법을 수행하는 디스플레이 기기, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
CN113014799B (zh) * 2021-01-28 2023-01-31 维沃移动通信有限公司 图像显示方法、装置和电子设备
KR20220114209A (ko) 2021-02-08 2022-08-17 삼성전자주식회사 연사 영상 기반의 영상 복원 방법 및 장치
KR20220156335A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 전자 장치 및 이를 이용한 뎁스 정보에 기반한 이미지 처리 방법
KR20240094596A (ko) 2022-12-16 2024-06-25 현대오토에버 주식회사 이미지 처리 방법 및 그 시스템
KR102669839B1 (ko) * 2022-12-30 2024-05-28 주식회사 쓰리아이 3차원 가상모델 생성을 위한 전처리 방법 및 그를 위한 컴퓨팅 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050243192A1 (en) * 2004-04-28 2005-11-03 International Business Machines Corporation Method for removal of moving objects from a video stream
WO2012005387A1 (ko) * 2010-07-05 2012-01-12 주식회사 비즈텍 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
US20130325311A1 (en) * 2012-05-31 2013-12-05 Hyundai Motor Company Apparatus and method for detecting moving-object around vehicle
KR101539944B1 (ko) * 2014-02-25 2015-07-29 한국산업기술대학교산학협력단 객체 식별 방법
KR20150126768A (ko) * 2014-05-05 2015-11-13 삼성전자주식회사 이미지 합성 방법 및 그 전자 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005109647A (ja) 2003-09-29 2005-04-21 Casio Comput Co Ltd 画像処理装置及びプログラム
JP2006059252A (ja) 2004-08-23 2006-03-02 Denso Corp 動き検出方法及び装置，プログラム，車両用監視システム
JP2011041041A (ja) 2009-08-12 2011-02-24 Casio Computer Co Ltd 撮像装置、撮像方法及びプログラム
US9538081B1 (en) * 2013-03-14 2017-01-03 Amazon Technologies, Inc. Depth-based image stabilization
KR102090105B1 (ko) * 2013-07-16 2020-03-17 삼성전자 주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법
JP2016082477A (ja) 2014-10-20 2016-05-16 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
KR20160057867A (ko) * 2014-11-14 2016-05-24 삼성전자주식회사 디스플레이 장치 및 그에 의한 이미지 처리 방법
US9591237B2 (en) * 2015-04-10 2017-03-07 Qualcomm Incorporated Automated generation of panning shots
JP6594180B2 (ja) * 2015-11-25 2019-10-23 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
US9707961B1 (en) * 2016-01-29 2017-07-18 Ford Global Technologies, Llc Tracking objects within a dynamic environment for improved localization
US10937174B2 (en) * 2016-06-08 2021-03-02 Sharp Kabushiki Kaisha Image processing device, image processing program, and recording medium
JP2018148272A (ja) * 2017-03-01 2018-09-20 オリンパス株式会社 撮像装置、画像処理装置、撮像方法およびプログラム
US10284789B2 (en) * 2017-09-15 2019-05-07 Sony Corporation Dynamic generation of image of a scene based on removal of undesired object present in the scene
US10498963B1 (en) * 2017-12-04 2019-12-03 Amazon Technologies, Inc. Motion extracted high dynamic range images
US10482359B2 (en) * 2018-01-18 2019-11-19 Google Llc Systems and methods for removing non-stationary objects from imagery
US10999534B2 (en) * 2019-03-29 2021-05-04 Cisco Technology, Inc. Optimized video review using motion recap images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050243192A1 (en) * 2004-04-28 2005-11-03 International Business Machines Corporation Method for removal of moving objects from a video stream
WO2012005387A1 (ko) * 2010-07-05 2012-01-12 주식회사 비즈텍 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
US20130325311A1 (en) * 2012-05-31 2013-12-05 Hyundai Motor Company Apparatus and method for detecting moving-object around vehicle
KR101539944B1 (ko) * 2014-02-25 2015-07-29 한국산업기술대학교산학협력단 객체 식별 방법
KR20150126768A (ko) * 2014-05-05 2015-11-13 삼성전자주식회사 이미지 합성 방법 및 그 전자 장치

Also Published As

Publication number Publication date
US20210192751A1 (en) 2021-06-24
KR102061867B1 (ko) 2020-01-02

Similar Documents

Publication Publication Date Title
WO2020054978A1 (ko) 이미지 생성 장치 및 그 방법
WO2018128472A1 (en) Virtual reality experience sharing
WO2017142278A1 (en) Apparatus and method for providing dynamic panorama function
WO2016028042A1 (en) Method of providing visual sound image and electronic device implementing the same
WO2014107006A1 (en) Display apparatus and control method thereof
WO2014168389A1 (en) Objects in screen images
WO2015105345A1 (en) Method and apparatus for screen sharing
WO2015186964A1 (ko) 촬영 장치 및 촬영 장치의 비디오 생성방법
WO2019093744A1 (en) Display apparatus and control method thereof
WO2018155824A1 (en) Display apparatus and control method thereof
WO2019027090A1 (ko) 이동 단말기 및 그 제어 방법
WO2021096233A1 (en) Electronic apparatus and control method thereof
WO2018038428A1 (en) Electronic device and method for rendering 360-degree multimedia content
WO2014107025A1 (en) Method and apparatus for controlling contents in electronic device
WO2014182140A1 (en) Display apparatus and method of providing a user interface thereof
WO2016089047A1 (ko) 컨텐트를 제공하는 방법 및 디바이스
WO2017052150A1 (en) User terminal device, electronic device, and method of controlling user terminal device and electronic device
WO2016126083A1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
WO2019039861A1 (ko) 전자 장치 및 전자 장치에서 카메라 기능과 연관된 콘텐트 제공 방법
WO2014126331A1 (en) Display apparatus and control method thereof
WO2018056587A1 (en) Electronic apparatus and controlling method thereof
WO2020171558A1 (en) Method of providing augmented reality contents and electronic device therefor
WO2020045909A1 (en) Apparatus and method for user interface framework for multi-selection and operation of non-consecutive segmented information
WO2019216484A1 (ko) 전자 장치 및 그 동작방법
KR20200016085A (ko) 정보 노출 방지 영상 제공 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19860658

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19860658

Country of ref document: EP

Kind code of ref document: A1