WO2014003237A1 - 영상 추출 및 합성 장치, 이의 방법 - Google Patents

영상 추출 및 합성 장치, 이의 방법 Download PDF

Info

Publication number
WO2014003237A1
WO2014003237A1 PCT/KR2012/007097 KR2012007097W WO2014003237A1 WO 2014003237 A1 WO2014003237 A1 WO 2014003237A1 KR 2012007097 W KR2012007097 W KR 2012007097W WO 2014003237 A1 WO2014003237 A1 WO 2014003237A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
boundary
extracted
correction
Prior art date
Application number
PCT/KR2012/007097
Other languages
English (en)
French (fr)
Inventor
우대식
전병기
정원석
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Publication of WO2014003237A1 publication Critical patent/WO2014003237A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Definitions

  • the present invention relates to an apparatus and method for providing an image extraction and compositing function, and more particularly, a user extracts each of a background and an object from two different images, and naturally synthesizes the same.
  • the present invention was devised to satisfy the above-mentioned necessity. Even when a user extracts an image and inputs a boundary of the extraction object, the user does not select the extraction object correctly, but inputs the image corresponding to the boundary specified by the user from the depth information of the image. It is an object of the present invention to provide an image extraction apparatus and method capable of extracting an accurate boundary line by extracting a boundary line and correcting the extracted boundary line when the extracted boundary line does not match an object outline in an actual image.
  • Another object of the present invention is to provide an apparatus and method for extracting an image to capture only a desired object by applying the above image extraction function when capturing a desired object in a mobile device.
  • Still another object of the present invention is to extract the object and background desired by the user from two different images by applying the image extraction function, and naturally synthesize the extracted object and the background to provide an effect as if the object was taken from the background. It is an object of the present invention to provide an image synthesizing apparatus and method.
  • Still another object of the present invention is to improve the computational speed required for image processing by applying the image extraction and image synthesis functions to a mobile device, and in particular, to improve the accuracy of boundary extraction while overcoming the size constraints of the screen during image extraction. There is.
  • the image synthesizing apparatus comprises: an object selecting unit for selecting an object to be synthesized from the first image; Resize the image of the object selected by the object selector to a predetermined size and generate depth information through an image segmentation algorithm on the resized object image based on the depth information.
  • An object extracting unit configured to extract a boundary image of and extract a compensated object image by correcting an error along the extracted boundary line of the object;
  • an image synthesizing unit configured to receive a second image to be a background image and to synthesize the received background image with the object image finally extracted by the object extracting unit.
  • an image extracting apparatus comprising: an object selecting unit selecting an object to be extracted from at least one or more images; A resizing unit for converting an image of the object selected by the object selecting unit into a predetermined size; An image segmentation unit for generating depth information by analyzing an image of the resized object through an image segmentation algorithm and extracting an outline (boundary line) of the object based on the depth information; An image size converter for converting the image of the object extracted by the image splitter into an original size; And a boundary line correction unit for re-extracting the boundary line of the object through the image segmentation algorithm and correcting an error with respect to the boundary line of the re-extracted object with respect to the image of the object converted by the image size converting unit.
  • a terminal apparatus including: an image photographing unit configured to photograph a subject and convert the photograph into an electrical signal; An image recording unit for recording an image photographed through the image capturing unit or an image received from the outside; An input unit for receiving a selection of a background and an object to be synthesized from an image photographed through the image capturing unit or an image previously stored in the image recording unit; Upon receiving the input of the background and the object to be synthesized from the input unit, the image of the input object is resized to a predetermined size, and the boundary of the object is extracted through an image segmentation algorithm, and error correction is performed on the extracted boundary of the object. And a controller for synthesizing the object image finally extracted through the correction with the input background image.
  • a method of synthesizing an object comprising: an object selection step of receiving a selection of an object to be synthesized from the first image; An object extraction step of generating depth information by analyzing an image of the selected object through an image segmentation algorithm and extracting a boundary of an object to be synthesized based on the depth information; A correction request determination step of determining whether there is an error correction request for the boundary line of the extracted object; A boundary correction step of analyzing the image segmentation algorithm along the boundary line of the extracted object by re-extracting the boundary line of the object and correcting an error of the boundary line of the re-extracted object if there is a request for the error correction; A background selection step of selecting a background to be synthesized from the second image; And a synthesis step of synthesizing the selected background with the object finally extracted through the correction.
  • An image extracting method includes: an object selecting step of selecting an object to be extracted from at least one or more images; A resizing step of converting an image of the object selected in the object selection step into a predetermined constant size; An image segmentation step of generating depth information by analyzing an image of the resized object through an image segmentation algorithm and extracting a boundary line of the object based on the depth information; An image size converting step of converting an image of the object extracted through the image segmenting step into an original size; And a boundary line correction step of re-extracting the boundary line of the object and correcting an error of the boundary line of the re-extracted object by analyzing the image of the object converted by the image size converter through the image segmentation algorithm. do.
  • the present invention it is possible to select a background and an object that a user wants from different images, and to perform a natural image synthesizing as if the object was taken from the background.
  • a given image is resized to a predetermined size
  • an image segmentation algorithm is performed on the resized image, and the result is enlarged to an original size to obtain an image processing speed.
  • the present invention compensates for the problems of quality deterioration occurring in the process of reducing and enlarging an image, in particular, an error extracted irregularly at the boundary line through a correction algorithm, thereby improving the computation speed when applying to a small terminal such as a mobile device. This has the effect of increasing accuracy.
  • the user when the user designates an object or a background to be synthesized in a given image, the user can automatically extract the corresponding object even if the user selects an approximate boundary without specifying the outline of the desired object. There is.
  • the present invention provides a magnifier function for the user input area when the border is corrected, and automatically extracts the border by analyzing the visible image of the magnifier so that the touch screen can be modified by a simple touch instead of a complicated and detailed work. It is effective.
  • the present invention basically provides to extract a desired object from an image that has just been taken or previously taken through the image capturing unit, but is additionally applied while the background and the object are captured by the image capturing unit to be used on the user's screen. Selects the desired object, it can extract only the selected object and provide the user to shoot only the desired object.
  • FIG. 1 is a diagram illustrating a configuration of an image synthesizing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration of an image extraction apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a configuration of a mobile device to which a configuration for image synthesis and extraction is applied according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an image synthesizing method according to an exemplary embodiment of the present invention.
  • 5 and 6 illustrate a method of extracting an image from the image synthesis process of FIG. 4 according to an exemplary embodiment of the present invention.
  • FIG. 7 is a screen of a user interface illustrating a method of obtaining an image for image synthesis and extraction according to an embodiment of the present invention.
  • FIG. 8 is a screen of a user interface showing an image synthesis process according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a configuration of an image synthesizing apparatus according to an embodiment of the present invention.
  • the image synthesizing apparatus 100 includes an object selecting unit 110, an object extracting unit 120, an image synthesizing unit 130, an image recording unit 140, an image capturing unit 150, and the like. .
  • the image extracting apparatus 200 of the present invention may be implemented by including an object selecting unit 110 and an object extracting unit 120.
  • the image synthesizing apparatus 100 and the image extracting apparatus 200 may be a digital camcorder, a digital camera, a mobile phone, a smart phone, a notebook, a tablet PC, a computer, and the like, but are not limited thereto. Any device may be used as long as the device has a recording medium capable of recording the data.
  • the image capturing unit 150 converts a photograph or video (hereinafter, referred to as an image) taken by photographing a subject into an electrical signal.
  • the image recorder 140 is a storage medium for recording various images, and may include an image received from an external device, an image captured by the image capturing unit 150, and the like.
  • the image recorder 140 may be a flash memory, a hard disk, an optical disk, or another mass storage device.
  • the object selector 110 selects an object to be synthesized from an image acquired from the image recorder 140 or the image capturer 150.
  • the object selecting unit 110 receives an input of the boundary and selects an image of an object included in the received boundary.
  • the user when selecting an object to be extracted or synthesized from a given image, the user can automatically extract the corresponding object even if the outline of the desired object is not specified correctly.
  • the object extractor 120 analyzes an image of the object selected by the object selector 110 through an image segmentation algorithm and extracts an object included in the boundary.
  • Image segmentation means that the boundary line is automatically extracted based on the area selected by the user from the original image.
  • boundary extraction may use various algorithms
  • embodiments of the present invention use a grab cut algorithm based on a depth map of an image.
  • the depth map of the image represents the depth information of the image in a shade, and the shade value may be represented by a gray scale of 256 layers.
  • the depth information of the image is information representing a depth difference between adjacent images in order to express a stereoscopic image, and is generated by using ordinary image characteristics such as edge characteristics, color, brightness characteristics, and vanishing point characteristics of the image. can do. Therefore, the grab cut algorithm creates a graph for every pixel of the image and grasps the depth information of each object included in the image due to color difference or brightness difference between adjacent pixels, Extract the boundary line.
  • the object extractor 120 may reduce and enlarge the size of the target image before and after segmenting the image. For example, image segmentation through a grab cut algorithm is more accurate than other image segmentation algorithms, but requires a large amount of computation. Accordingly, the image processing speed is improved by resizing (reducing) the image of the object to a predetermined small size before dividing the image and enlarging it to the original size after dividing the image.
  • the object extractor 120 may repartition the image of the object through the boundary compensation algorithm and re-extract the boundary of the object to correct the error of the boundary extracted through the previous image segmentation. have.
  • the configuration of the object extraction unit 120 for implementing the above functions will be described in detail with reference to FIG. 2.
  • the image synthesizer 130 loads and loads a background image to be synthesized from the image recorder 140 or the image capturing unit 150, and synthesizes the imported background image and the object image finally extracted by the object extractor 130. do.
  • the image synthesizing unit 130 can easily capture a background to be synthesized by a user by displaying an object image extracted on the screen to be captured when the background image is loaded through the image capturing unit 150 as an overlay. You can provide it.
  • the image synthesizing unit 130 may adjust the color balance to match the color of the background when the colors of the background image and the object image do not match.
  • the image synthesizing unit 130 may smoothly adjust the boundary line by applying a smoothing algorithm such as a blur to prevent the boundary between the object and the background from being awkward.
  • FIG. 2 is a diagram illustrating a configuration of image extraction according to an exemplary embodiment of the present invention, which is a detailed configuration diagram of the object extractor 120 of FIG. 1.
  • the object extractor 120 includes a resizing unit 121, an image splitter 122, an image size converter 123, and a boundary correction unit 124. do.
  • the boundary line correction unit 124 may include a correction box generation unit 125, an image re-division unit 126, a correction unit 127, and the like by an interface compensation algorithm.
  • the resizing unit 121 and the image size converting unit 123 provide a function of reducing or enlarging an image of an object to be extracted from a given image.
  • the resizing unit 121 and the image size converting unit 123 provide a function of reducing or enlarging an image of an object to be extracted from a given image.
  • two independent configurations are described, but may be implemented in one configuration as necessary.
  • the resizing unit 121 resizes the image of the object to a predetermined size before the image dividing unit 122 performs image segmentation. In the case of a mobile device, the resizing unit 121 minimizes an image processing amount by reducing an image of an object.
  • the image size converting unit 123 performs image segmentation in the image segmentation unit 122 and then converts the size of the image converted by the resizing unit 121 to the original size. In the case of a mobile device, the image size converter 123 may enlarge the image of the reduced object to its original size.
  • the image splitter 122 analyzes the image of the object converted by the resizing unit 121 through an image segmentation algorithm to generate depth information of the object image and extracts a boundary line of the object based on the generated depth information.
  • the boundary extraction can be performed in various ways, but in the embodiment of the present invention, a grab cut algorithm for extracting the boundary line using a depth map generated by the color, brightness, edge characteristics, etc. of the image is used. Can be.
  • the correction box generator 125 generates a correction box having a predetermined size and displays the correction box on the screen when the correction request is received from the user with respect to the boundary line of the object output through the image size converter 123.
  • the correction box may be moved by a user's direction key or touch operation, and when focused on an area to be corrected, the correction box may be enlarged like a magnifying glass and displayed on a separate screen.
  • focusing means an operation of selecting an area to be corrected. Therefore, the focusing may include an operation of selecting a user directly, but may also include a movement of a modification box.
  • the image repartitioner 126 When the region to be corrected by moving the correction box is focused, the image repartitioner 126 generates image information of the focused region by image segmentation again and generates depth information of the corresponding image, and based on the generated depth information, Reextract the border. In this case, the image repartitioner 126 may extract depth information of an image included in the correction box using a joint bilateral filter based on the depth information.
  • the correction unit 127 compensates for an error by correcting the boundary line of the object re-extracted by the image redistribution unit 126 with the boundary line of the re-extracted object. And finally, the boundary of the compensated object is output.
  • the embodiment of the present invention provides an interactive user interface (UI) through the boundary corrector 124, which allows the user to correct an error of the boundary line with only a simple touch input for an object extracted primarily.
  • UI interactive user interface
  • FIG. 3 is a diagram illustrating a configuration in which image synthesis and extraction are applied to a mobile device according to an embodiment of the present invention.
  • the mobile device 10 basically includes an image capturing unit 11, a storage unit 12, an image recording unit 13, a display unit 14, an input unit 15, and a controller 16.
  • the image capturing unit 11 and the image recording unit 13 perform the same functions as the image capturing unit 11 and the image recording unit 13 described above with reference to FIG. 1. That is, the image capturing unit 11 captures an image through a camera or the like, and the image recording unit 13 records an image temporarily stored in the storage unit 12 or an image received from an external device.
  • the storage unit 12 buffers the image photographed by the image capturing unit 11. That is, the electrical signal output from the image capturing unit 11 is image processed by the controller 16 and continuously stored in the storage unit 12 as one image.
  • the storage unit 12 may be allocated to a volatile memory such as RAM.
  • the display unit 14 displays an image captured by the image capturing unit 11 or an image previously stored in the image recording unit 13 according to a user's request, and displays a work screen necessary for extracting and synthesizing an object to be synthesized from the displayed image. do.
  • the display unit 14 may be configured as a display device such as an LCD and an LED.
  • the input unit 15 is an event for starting shooting of the image capturing unit 11, selecting a mode of the image capturing unit 11 or the image recording unit 13, image input through mode selection, object selection, error correction, and the like. Generate a signal.
  • the input unit 15 may include a plurality of buttons or a keypad.
  • the touch pad is attached to the display unit 14 and the display unit 14 is a touch screen, the input unit 15 may be integrally formed with the display unit 14. Can be.
  • the mobile device includes a front touch screen such as a full touch phone, a smart phone, a tablet PC, the input unit 15 performs an input operation through a user's touch.
  • the controller 16 controls each component of the mobile device as a whole.
  • the controller 16 controls an image extraction function and a function of image synthesis, such as extracting an object to be synthesized from at least one or more images and synthesizing the extracted object with another image.
  • the controller 16 when the controller 16 receives a selection of an object to be synthesized from the input unit 15 in a given image from the image capturing unit 11 or the image recording unit 13, the controller 16 resizes the image of the received object and performs image segmentation. By extracting the boundary line of the object and performing error correction on the boundary line of the extracted object, it provides an image extraction function for a given image.
  • the controller 16 loads the background image from the image capturing unit 11 or the image recording unit 13 according to the operation of the input unit 15, and overlays the object image finally extracted through correction to the background image and the background image. It can provide the ability to synthesize.
  • the controller 16 receives a selection of an object to be extracted from the input unit 15 while the image is captured by the image capturing unit 11, the object extracted by the extraction method is extracted. Can only offer to shoot.
  • the operation may be implemented by a software program or may be implemented and provided as an application. Detailed functions related to image extraction and synthesis, which are not described above, will be omitted since they overlap with the configuration of the image extraction and synthesis apparatus described with reference to FIGS. 1 and 2.
  • FIG. 4 is a diagram illustrating an image synthesizing method according to an exemplary embodiment of the present invention.
  • the user interface screen of FIGS. 7 and 8 will be described as an example for each process of the image synthesis method.
  • a user selects an image to be edited for image extraction and synthesis, and there are two methods 701 and 702 as shown in FIG. 7. That is, a method of selecting one of images previously stored in an image recording unit such as a gallery on a mobile device (see FIG. 7B), and a method of acquiring a desired image through shooting in the field by selecting an image capturing mode ( (C) of FIG. 7).
  • the image extracting and compositing apparatus receives a selection of a desired object from a user and selects an object to be synthesized or extracted (S100). As shown in FIG. 8, when a user inputs a boundary 810 to include a desired object by using a finger or a manipulation tool in the first image 800, the image extracting and compositing device inputs the user through an object selection unit. After receiving the boundary 810, the image of the object 810 ′ included in the received boundary 810 is selected.
  • This process provides the user's convenience because the object is automatically selected only by specifying the vicinity of the object even if the user does not specify the outline of the object to be synthesized or extracted.
  • the image extraction and synthesis apparatus analyzes the image of the object selected by the user through an image segmentation algorithm to generate depth information of the image, and the boundary of the object to be synthesized or extracted based on the generated depth information. To extract (S110).
  • the object extracting unit of the image extracting and synthesizing apparatus resizes an image of a selected object before segmenting the image (S111) and analyzes the resized image through an image segmentation algorithm.
  • the outline (boundary line) of the object is extracted (S112).
  • the image of the extracted object is converted into its original size (S113).
  • the segmentation of the object is corrected by performing image segmentation using a bilateral filter on the object extracted by the image extracting and synthesizing apparatus (S130).
  • the process of correcting the error will be described in detail with reference to FIG. 6.
  • the image synthesizing apparatus is a second image which will be a background image stored in the image recording unit or through the image capturing unit. Recall the image (S140).
  • the second image selection method may also use two methods, as shown in FIGS. 7 and 8.
  • the second image itself may be applied as it is, and only a partial image may be extracted and applied from the second image.
  • the image synthesizing apparatus selects the background image through the image capturing unit, the object image 840 finally extracted through the error correction is displayed on the screen to be overlaid so that the composition position and angle with the background to be synthesized to the user are displayed.
  • the user interface screen is provided for easier shooting.
  • the image synthesizing apparatus synthesizes the object image 840 finally extracted through error correction together with the background image 850.
  • FIG. 6 illustrates a method of specifically correcting an error of a boundary line of an object in the error correction step S130 of FIG. 4.
  • the correction method of FIG. 6 may be similarly applied in an image extraction process and an image synthesis process.
  • the correction box generator when the image extraction and synthesis apparatus requests an error correction from the user, the correction box generator generates a correction box 820 having a predetermined size and displays it on the screen (S131).
  • the correction box 820 may be moved by a user's direction key or touch operation, and when focused on a region to be corrected, the enlarged screen 830 such as a magnifier function may be separately displayed on the screen.
  • the image re-division unit of the image extracting and synthesizing apparatus performs image segmentation on an image included in the focused correction box (S133).
  • the image segmentation is an analysis for correcting the inconsistency of the object boundary line, regenerating depth information of the image included in the correction box through post-processing filtering using a joint bilateral filter, and regenerating the depth information.
  • Joint bilateral filter is a low pass filter applied to a single color image.
  • the displacement bilateral filter is used as a parameter. do.
  • the error of the boundary line is compensated for by correcting the previous boundary line extracted in the previous step (S110 of FIG. 4) to the boundary line of the object re-extracted through the above process (S134).
  • the present invention may implement the above-described image extraction and synthesis method in a software program and record the result in a computer-readable recording medium.
  • the recording medium may be a hard disk, a flash memory, a RAM, a ROM, or the like as an internal type of each playback device, or an optical disc such as a CD-R or a CD-RW, a compact flash card, a smart media, a memory stick, or a multimedia card as an external type. have.
  • the program recorded on the computer-readable recording medium includes the steps of selecting an object to be synthesized from the first image, extracting the boundary line of the object to be synthesized by image segmenting the image of the selected object, and Determining whether there is a request for error correction for the boundary line; if there is a request for error correction, correcting the error by dividing the image again along the boundary line of the extracted object and re-extracting the boundary line of the object;
  • the method may include selecting a background to be synthesized from and synthesizing an object output through the selected background and error correction.
  • the program recorded on the computer-readable recording medium may further include selecting an object to be extracted from at least one or more images, resizing the image of the selected object to a predetermined size, and outputting the image of the resized object. Depth generation using the image segmentation algorithm and extracting the boundary of the object based on the generated depth information, converting the image of the extracted object to the original size, and if there is an error in the boundary of the extracted object correction box
  • the method may further include extracting a boundary line of the object and correcting an error based on the extracted boundary line.
  • the program for image extraction and synthesis may be provided in the form of an application.
  • the application server stores and manages an application for image extraction and synthesis in a database, and transmits the application to the client terminal when the client terminal requests it.
  • the client terminal downloads and installs the application and executes the application.
  • the client terminal may operate as an image extracting and synthesizing apparatus to separate an object and a background from one image, and produce a new image by synthesizing the extracted object with another background.
  • Computer programs may be written in any form of programming language, including compiled or interpreted languages, or a priori or procedural languages. It can be deployed in any form, including components, subroutines, or other units suitable for use in a computer environment. Computer programs do not necessarily correspond to files in the file system.
  • a program may be in a single file provided to the requested program, in multiple interactive files (eg, a file that stores one or more modules, subprograms, or parts of code), or part of a file that holds other programs or data. (Eg, one or more scripts stored in a markup language document).
  • the computer program can be deployed to run on one computer or on multiple computers that are located at one site or distributed across multiple sites and interconnected by a communication network.
  • Computer-readable media suitable for storing computer program instructions and data include, for example, semiconductor memory devices such as EPROM, EEPROM, and flash memory devices, such as magnetic disks such as internal hard disks or external disks, magneto-optical disks, and CD-ROMs. And all forms of nonvolatile memory, media and memory devices, including DVD-ROM discs.
  • semiconductor memory devices such as EPROM, EEPROM, and flash memory devices, such as magnetic disks such as internal hard disks or external disks, magneto-optical disks, and CD-ROMs. And all forms of nonvolatile memory, media and memory devices, including DVD-ROM discs.
  • the processor and memory can be supplemented by or integrated with special purpose logic circuitry.
  • Implementations described in the specification of the present invention may be implemented in digital electronic circuitry, computer software, firmware or hardware, or a combination of one or more of them. Implementations described in the specification of the present invention are one or more modules relating to computer program instructions encoded on a program storage medium of tangible type for controlling or by the operation of one or more computer program products, ie data processing apparatuses. It can be implemented as.
  • Implementations of the subject matter described herein may include, for example, a backend component such as a data server, or include a middleware component such as, for example, an application server, or a web browser or graphical user, for example, where a user may interact with the implementation of the subject matter described herein. It can be implemented in a computing system that includes a front end component such as a client computer having an interface or any combination of one or more of such back end, middleware or front end components. The components of the system may be interconnected by any form or medium of digital data communication such as, for example, a communication network.

Abstract

본 발명은 사용자가 서로 다른 두 영상에서 배경과 객체 각각을 추출하고 추출한 객체와 배경을 자연스럽게 합성하여 마치 해당 배경에서 객체를 찍은 듯한 효과를 제공하는 영상 추출 및 합성 장치, 이의 방법에 관한 것이다. 서로 다른 두 영상은 영상 기록부에 기 저장된 영상 또는 영상 촬영부를 통해 즉시 촬영한 영상이며, 객체 추출은 깊이 정보에 근거한 영상 분할(image segmentation) 알고리즘을 통해 구현할 수 있다. 또한, 객체 추출을 위해 영상을 분할하는 과정 전, 후에 해당 영상을 축소 또는 확대하여 연산 속도를 개선하고 추출한 객체의 경계선에 대해서도 실시간 오차 보정을 수행하여 경계선 추출의 정확도를 높일 수 있다.

Description

영상 추출 및 합성 장치, 이의 방법
본 발명은 영상 추출 및 합성 기능을 제공하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 사용자가 서로 다른 두 영상에서 배경과 객체 각각을 추출하고 이를 자연스럽게 합성하여 마치 해당 배경에서 객체를 찍은 듯한 효과를 제공하고 영상 추출시 연산 속도 및 정확도를 향상시킬 수 있는 영상 추출 및 합성 장치, 이의 방법에 관한 것이다.
많은 사람들은 캠코더, 디지털 카메라, 모바일 기기(스마트 폰 포함) 등을 가지고 사진을 찍거나 동영상을 촬영하여, 사진이나 동영상(이하, 영상이라 통칭함)을 기록한다. 그리고, 기록한 각 영상을 다른 영상과 합성하거나 또는 영상에서 원하는 일부 영상만을 추출하여 활용하고자 한다.
이렇게 영상을 편집하려면 종래에는 각 촬영 기기에서 촬영한 영상을 외부의 컴퓨터로 전송하여 컴퓨터 내 편집 프로그램을 통해 편집을 수행하였고, 최근 들어서는 촬영 기기 자체에서도 영상 편집이 가능하게 제공하고 있다.
촬영 기기에서는 영상 편집을 위하여 사용자의 손가락 또는 조작 도구를 이용하는 데, 특히 손가락 터치 시 영상 내 원하는 객체의 외곽을 정확하게 지정하는 등의 세밀한 조작이 불가한 문제점이 있다.
또한, 촬영 기기의 화면 사이즈 제약으로 인해 작업의 정확도가 떨어지는 문제점이 있다.
따라서, 촬영 기기에서 추출하고자 하는 영상에 대하여 사용자가 선택할 때 사용자의 대략적인 입력에도 불구하고 자동으로 영상의 외곽선을 찾아 원하는 영상을 추출하는 알고리즘이 필요하다.
본 발명은 상기의 필요성을 충족하기 위해 창안된 것으로서, 영상 추출시 사용자가 추출 대상을 정확하게 선택하는 것이 아닌 추출 대상의 바운더리를 지정하여 입력하더라도 영상의 깊이 정보로부터 사용자가 지정한 바운더리에 해당하는 영상의 경계선을 추출하고 추출한 경계선이 실제 영상물 내 객체 외곽선과 일치하지 않을 경우 이를 보정하여 정확한 경계선 추출이 가능한 영상 추출 장치 및 방법을 제공하는 데 그 목적이 있다.
본 발명의 다른 목적은, 모바일 기기에서 원하는 객체를 포함하여 촬영할 때 상기의 영상 추출 기능을 적용하여 원하는 객체만을 찍을 수 있도록 하는 영상 추출 장치 및 방법을 제공하고자 한다.
본 발명의 또 다른 목적은, 상기의 영상 추출 기능을 적용하여 서로 다른 두 영상에서 사용자가 원하는 객체 및 배경을 추출하고 추출한 객체와 배경을 자연스럽게 합성하여 마치 해당 배경에서 객체를 찍은 듯한 효과를 제공하는 영상 합성 장치 및 방법을 제공하고자 하는 것이다.
본 발명의 또 다른 목적은, 상기의 영상 추출 및 영상 합성 기능을 모바일 기기에 적용하여 영상 처리에 필요한 연산 속도를 개선하고, 특히 영상 추출시 화면의 사이즈 제약을 극복하면서 경계선 추출의 정확도 또한 향상시키는 데 있다.
이를 위하여, 본 발명의 제1 측면에 따른 영상 합성 장치는, 제1 영상으로부터 합성할 객체를 선택하는 객체 선택부; 상기 객체 선택부에서 선택된 객체의 영상을 정해진 크기로 리사이즈(re- size)화하고 리사이즈화한 객체의 영상에 대하여 영상 분할(image segmentation) 알고리즘을 통해 깊이 정보를 생성하여 상기 깊이 정보를 근거로 객체의 경계선을 추출하며 추출한 객체의 경계선을 따라 오차를 보정하여 보상된 객체 영상을 추출하는 객체 추출부; 및 배경 영상이 될 제2 영상을 입력받고, 입력받은 배경 영상을 상기 객체 추출부에서 최종 추출한 객체 영상과 합성하는 영상 합성부를 포함하는 것을 특징으로 한다.
본 발명의 제2 측면에 따른 영상 추출 장치는, 적어도 하나 이상의 영상으로부터 추출할 객체를 선택하는 객체 선택부; 상기 객체 선택부에서 선택한 객체의 영상을 정해진 크기로 변환하는 리사이징부; 상기 리사이즈화한 객체의 영상에 대하여 영상 분할 알고리즘을 통해 분석하여 깊이 정보를 생성하고 상기 깊이 정보를 근거로 상기 객체의 외곽(경계선)을 추출하는 영상 분할부; 상기 영상 분할부를 통해 추출한 객체의 영상을 원 크기로 변환하는 영상 크기 변환부; 및 상기 영상 크기 변환부를 통해 변환한 객체의 영상에 대하여 상기 영상 분할 알고리즘을 통해 객체의 경계선을 재추출하고 재추출한 객체의 경계선에 대한 오차를 보정하는 경계선 보정부를 포함하는 것을 특징으로 한다.
본 발명의 제3 측면에 따른 단말장치는, 피사체를 촬영하여 전기적 신호로 변환하는 영상 촬영부; 상기 영상 촬영부를 통해 촬영한 영상 또는 외부로부터 수신한 영상을 기록하는 영상 기록부; 상기 영상 촬영부를 통해 촬영한 영상 또는 상기 영상 기록부에 기 저장된 영상으로부터 합성할 배경 및 객체의 선택을 각각 입력받는 입력부; 상기 입력부로부터 합성할 배경 및 객체의 선택을 입력받으면, 입력받은 객체의 영상을 정해진 크기로 리사이즈화 하여 영상 분할(image segmentation) 알고리즘을 통해 객체의 경계선을 추출하고 추출한 객체의 경계선에 대하여 오차 보정을 수행하며, 보정을 통해 최종적으로 추출되는 객체 영상을 상기 입력받은 배경 영상과 합성하는 제어부를 포함하는 것을 특징으로 한다.
본 발명의 제4 측면에 따른 영상 합성 방법은, 제1 영상으로부터 합성할 객체의 선택을 입력받는 객체 선택 단계; 선택한 객체의 영상을 영상 분할(image segmentation) 알고리즘을 통해 분석하여 깊이 정보를 생성하고 상기 깊이 정보를 근거로 합성할 객체의 경계선을 추출하는 객체 추출 단계; 추출한 객체의 경계선에 대하여 오차 보정 요구가 있는지를 판단하는 보정 요구 판단 단계; 상기 오차 보정에 대한 요구가 있으면 상기 추출한 객체의 경계선을 따라 상기 영상 분할 알고리즘을 통해 분석하여 객체의 경계선을 재추출하고 재추출한 객체의 경계선에 대한 오차를 보정하는 경계선 보정 단계; 제2 영상으로부터 합성할 배경을 선택받는 배경 선택 단계; 및 상기 보정을 통해 최종적으로 추출한 객체와 상기 선택한 배경을 합성하는 합성 단계를 포함하는 것을 특징으로 한다.
본 발명의 제5 측면에 따른 영상 추출 방법은, 적어도 하나 이상의 영상으로부터 추출할 객체를 선택하는 객체 선택 단계; 상기 객체 선택 단계에서 선택한 객체의 영상을 정해진 일정 크기로 변환하는 리사이징 단계; 상기 리사이즈화 한 객체의 영상을 영상 분할 알고리즘을 통해 분석하여 깊이 정보를 생성하고 상기 깊이 정보를 근거로 객체의 경계선을 추출하는 영상 분할 단계; 상기 영상 분할 단계를 통해 추출한 객체의 영상을 원 크기로 변환하는 영상 크기 변환 단계; 및 상기 영상 크기 변환부를 통해 변환한 객체의 영상에 대하여 상기 영상 분할 알고리즘을 통해 분석하여 상기 객체의 경계선을 재추출하고 재추출한 객체의 경계선에 대한 오차를 보정하는 경계선 보정 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 서로 다른 이미지에서 사용자가 원하는 배경 및 객체를 선택하여 마치 해당 배경에서 객체를 찍은 듯한 자연스러운 영상 합성이 가능한 효과가 있다.
또한, 영상 추출시, 주어진 영상을 정해진 크기로 리사이즈화하고 리사이즈한 영상에서 영상 분할 알고리즘을 수행한 후 그 결과를 다시 원본 크기로 확대하여 획득함으로써 영상 처리 속도를 개선하는 효과가 있다.
또한, 본 발명은 영상의 축소, 확대 과정에서 발생하는 품질 저하, 특히 경계선에서 울퉁불퉁하게 추출되는 오차의 문제점을 보정 알고리즘을 통해 보상함으로써 모바일 기기 등과 같은 소형 단말에 적용시 연산 속도를 향상시키면서 추출의 정확도를 높일 수 있는 효과가 있다.
또한, 본 발명은 사용자가 주어진 영상에서 합성할 객체 또는 배경을 지정할 때 원하는 객체의 외곽을 정확하게 지정하지 않고 대략적인 바운더리를 지정하여 선택하더라도 해당 객체를 자동으로 추출할 수 있어 사용자 편의를 제공하는 효과가 있다.
또한, 본 발명은 경계선 보정 시 사용자 입력 영역에 대한 돋보기 기능을 제공하고 돋보기로 보이는 영역을 자동 영상 분석하여 경계선을 재 추출함으로써 인터렉티브한 UI를 통해 복잡하고 세밀한 작업 대신 간편한 터치만으로도 수정이 가능하게 제공하는 효과가 있다.
또한, 본 발명은 영상 촬영부를 통해 방금 촬영하였거나 이전에 촬영한 영상을 대상으로 원하는 객체를 추출하는 것을 기본으로 제공하지만, 추가로 영상 촬영부로 배경과 객체를 촬영하는 도중에도 적용하여 촬영 화면에서 사용자가 원하는 객체를 선택하면 선택한 객체만 추출하여 사용자가 원하는 객체만 촬영하도록 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 영상 합성 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 영상 추출 장치의 구성을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 영상 합성 및 추출을 위한 구성을 적용한 모바일 기기의 구성을 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 영상 합성 방법을 설명하는 도면이다.
도 5 및 도 6은 본 발명의 실시 예에 따른 도 4의 영상 합성 과정 중에서 영상을 추출하는 방법을 설명하는 도면이다.
도 7은 본 발명의 실시 예에 따른 영상 합성 및 추출을 위해 영상을 획득하는 방법을 보여주는 사용자 인터페이스의 화면이다.
도 8은 본 발명의 실시 예에 따른 영상 합성 과정을 보여주는 사용자 인터페이스의 화면이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100: 영상 합성 장치 110: 객체 선택부
120: 객체 추출부 130: 영상 합성부
140: 영상 기록부 150: 영상 촬영부
200: 영상 추출 장치 121: 리사이징부
122: 영상 분할부 123: 영상 크기 변환부
124: 경계선 보정부 125: 수정 박스 생성부
126: 영상 재 분할부 127: 보정부
10: 모바일 기기 11: 영상 촬영부
12: 저장부 13: 영상 기록부
14: 표시부 15: 입력부
16: 제어부
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
도 1은 본 발명의 실시 예에 따른 영상 합성 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 영상 합성 장치(100)는 객체 선택부(110), 객체 추출부(120), 영상 합성부(130), 영상 기록부(140), 영상 촬영부(150) 등을 포함한다.
그리고, 본 발명의 영상 추출 장치(200)는 객체 선택부(110), 객체 추출부(120) 등을 포함하여 구현할 수 있다.
영상 합성 장치(100) 및 영상 추출 장치(200)는 디지털 캠코더, 디지털 카메라, 휴대폰, 스마트 폰, 노트북, 태블릿 PC, 컴퓨터 등이 될 수 있으나 이에 한정되는 것은 아니고 영상 촬영이 가능한 카메라가 구비되고 영상을 기록할 수 있는 기록매체가 있는 장치라면 어떠한 장치라도 가능하다.
영상 촬영부(150)는 피사체를 촬영하여 촬영한 사진 또는 동영상(이하, 영상으로 통칭함)을 전기적 신호로 변환한다.
영상 기록부(140)는 다양한 영상을 기록한 저장 매체로, 외부의 장치로부터 수신한 영상, 영상 촬영부(150)에서 촬영한 영상 등을 포함하여 기록할 수 있다. 영상 기록부(140)는 플래시 메모리, 하드 디스크, 광학 디스크 또는 다른 대용량의 저장장치가 될 수 있다.
객체 선택부(110)는 영상 기록부(140) 또는 영상 촬영부(150)로부터 획득한 영상에서 합성할 객체를 선택한다. 선택 방법으로는 사용자가 해당 객체의 근방에 사용자 임의적으로 바운더리를 지정하여 입력하면, 객체 선택부(110)가 이 바운더리의 입력을 수신하고 수신한 바운더리에 포함되는 객체의 영상을 선택한다.
따라서, 사용자 입장에서는 주어진 영상에서 추출할 또는 합성할 객체를 선택할 때 원하는 객체의 외곽을 정확하게 지정하지 않더라도 자동으로 해당 객체를 추출할 수 있다.
객체 추출부(120)는 객체 선택부(110)에서 선택한 객체의 영상을 영상 분할(segmentation) 알고리즘을 통해 분석하여 바운더리에 포함되어 있는 객체를 추출한다. 영상 분할(image segmentation)이란 원본 영상에서 사용자가 선택한 영역 근처를 기반으로 자동으로 경계선을 추출해 주는 것을 의미한다.
경계선 추출은 다양한 알고리즘을 이용할 수 있지만 본 발명의 실시 예에서는 영상의 깊이 맵(depth map)을 기반으로 한 그랩 컷(grab cut) 알고리즘을 이용한다. 영상의 깊이 맵은 영상의 깊이 정보를 농담으로 표현한 것으로, 농담의 값을 256계층의 그레이 스케일로 나타낼 수 있다. 그리고, 영상의 깊이 정보는 영상의 입체를 표현하기 위해 인접 영상간 깊이 차이를 나타내는 정보로, 영상의 외곽(edge) 특성, 색상, 밝기 특성, 소실점 특성과 같이 통상적인 영상 특징 등을 활용하여 생성할 수 있다. 따라서, 그랩 컷(grab cut) 알고리즘은 영상의 모든 픽셀에 대하여 그래프(graph)를 만들어서 인접 픽셀간 색상 차이나 명도 차이 등에 인해 영상에 포함되어 있는 각 객체들의 깊이 정보를 파악하고 파악한 깊이 정보를 통해 객체의 경계선을 추출한다.
또한, 객체 추출부(120)는 영상 분할하기 전, 후에 대상 영상의 크기를 축소 및 확대할 수 있다. 예컨대, 그랩 컷(grab cut) 알고리즘을 통해 영상 분할하는 경우 다른 영상 분할 알고리즘에 비해 정확도가 높지만 많은 연산량이 필요하다. 따라서, 영상 분할을 하기 전에 객체의 영상을 정해진 작은 크기로 리사이즈화(축소)하고, 영상 분할을 한 후에는 원본 크기로 확대하는 과정으로 영상 처리 속도를 개선한다.
또한, 객체 추출부(120)는 추출한 객체의 경계선에 오류가 발생한 경우 경계면 보상 알고리즘을 통해 객체의 영상을 재 분할하고 객체의 경계선을 재 추출하여 이전 영상 분할을 통해 추출한 경계선의 오차를 보정할 수 있다. 상기의 기능들을 구현하기 위한 객체 추출부(120)의 구성은 도 2에서 자세히 설명하기로 한다.
영상 합성부(130)는 영상 기록부(140) 또는 영상 촬영부(150)로부터 합성할 배경 영상을 불러 와 로딩하고, 불러 온 배경 영상과 객체 추출부(130)에서 최종적으로 추출되는 객체 영상을 합성한다.
특히, 영상 합성부(130)는 영상 촬영부(150)를 통해 배경 영상을 로딩할 때 촬영하는 화면 상에 기 추출한 객체 영상을 오버레이(overlay)로 표시함으로써 사용자가 합성할 배경을 보다 손쉽게 촬영할 수 있도록 제공할 수 있다.
또한, 영상 합성부(130)는 배경 영상과 객체 영상의 색상이 맞지 않는 경우 배경의 색상에 맞도록 색상 배런스(balance)를 조절할 수 있다.
또, 영상 합성부(130)는 객체와 배경의 경계 부분이 어색하지 않도록 블러(blur) 등의 평활화(smoothing) 알고리즘을 적용하여 경계선을 부드럽게 조절할 수 있다.
도 2는 본 발명의 실시 예에 따른 영상 추출의 구성을 나타낸 도면으로, 도 1에서의 객체 추출부(120)에 대한 상세 구성도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 객체 추출부(120)는 리사이징부(121), 영상 분할부(122), 영상 크기 변환부(123), 경계선 보정부(124) 등을 포함한다. 경계선 보정부(124)는 경계면 보상 알고리즘에 의해 수정 박스 생성부(125), 영상 재 분할부(126), 보정부(127) 등을 포함할 수 있다.
리사이징부(121) 및 영상 크기 변환부(123)는 주어진 영상에서 추출할 객체의 영상을 축소 또는 확대하는 기능을 제공한다. 본 발명의 실시 예에서는 이해의 편의상 두 개의 독립적인 구성으로 설명하나, 필요에 따라 하나의 구성으로도 구현할 수 있다.
리사이징부(121)는 영상 분할부(122)에서 영상 분할을 수행하기 전에 객체의 영상을 정해진 크기로 리사이즈(re-size)화한다. 모바일 기기의 경우 리사이징부(121)는 객체의 영상을 축소하여 영상 처리량을 최소화한다.
영상 크기 변환부(123)는 영상 분할부(122)에서 영상 분할을 수행한 후 리사이징부(121)를 통해 변환한 영상의 크기를 원 크기로 변환한다. 모바일 기기의 경우 영상 크기 변환부(123)는 축소된 객체의 영상을 원래의 크기로 확대할 수 있다.
영상 분할부(122)는 리사이징부(121)를 통해 변환된 객체의 영상을 영상 분할 알고리즘을 통해 분석하여 객체 영상에 대한 깊이 정보를 생성하고 생성한 깊이 정보를 근거로 객체의 경계선을 추출한다. 경계선 추출은 다양한 방식을 이용할 수 있지만, 본 발명의 실시 예에서는 영상의 색상, 밝기, 에지 특성 등에 의해 생성한 깊이맵(depth map)을 이용하여 경계선을 추출하는 그랩 컷(grab cut) 알고리즘을 이용할 수 있다.
수정 박스 생성부(125)는 영상 크기 변환부(123)를 통해 출력되는 객체의 경계선에 대하여 사용자로부터 보정 요구를 수신하게 되면 일정 크기를 갖는 수정 박스를 생성하여 화면에 표시하도록 제공한다. 이때, 수정 박스는 사용자의 방향키 또는 터치 조작으로 이동이 가능하고, 보정하고자 하는 영역에 포커싱되면 수정 박스에 포커싱된 영상을 돋보기와 같이 확대하여 별도의 화면으로 표시할 수 있다. 여기서 포커싱이라 함은 보정하고자 하는 영역을 선택한 동작을 의미한다. 따라서 포커싱은 사용자가 직접 선택하는 동작도 포함되지만 수정 박스의 이동 동작도 포함될 수 있다.
영상 재분할부(126)는 수정 박스를 이동시켜 보정하고자 하는 영역이 포커싱되면 포커싱된 영역의 영상을 다시 영상 분할(image segmentation)하여 해당 영상의 깊이 정보를 생성하고, 생성한 깊이 정보를 토대로 객체의 경계선을 재 추출한다. 이때, 영상 재분할부(126)는 깊이 정보를 기반으로 한 조인트 양방향 필터(joint bilateral filter)를 이용하여 수정 박스 안에 포함되는 영상의 깊이 정보를 추출할 수 있다.
보정부(127)는 영상 재분할부(126)를 통해 재 추출한 객체의 경계선이 이전 경계선과 불일치한 경우 상기 재 추출한 객체의 경계선으로 보정하여 오차를 보상한다. 그리고, 보상된 객체의 경계선을 최종적으로 출력한다.
이처럼, 본 발명의 실시 예에서는 경계선 보정부(124)를 통해, 일차적으로 추출한 객체에 대하여 사용자가 간편한 터치 입력만으로 경계선의 오차를 보정할 수 있는 인터렉티브한 사용자 인터페이스(UI)를 제공한다.
일 예로, 도 3은 본 발명의 실시 예에 따른 영상 합성 및 추출을 모바일 기기에 적용한 구성을 나타낸 도면이다.
모바일 기기(10)는 기본적으로 영상 촬영부(11), 저장부(12), 영상 기록부(13), 표시부(14), 입력부(15), 제어부(16)를 포함한다.
영상 촬영부(11) 및 영상 기록부(13)는 앞서 도 1에서 설명한 영상 촬영부(11) 및 영상 기록부(13)와 동일한 기능을 수행한다. 즉, 영상 촬영부(11)는 카메라 등을 통해 영상을 촬영하고 영상 기록부(13)는 저장부(12)에 임시 저장된 영상 또는 외부의 장치로부터 수신한 영상을 기록한다.
저장부(12)는 영상 촬영부(11)를 통해 촬영된 영상을 임시 저장(buffering)한다. 즉, 영상 촬영부(11)에서 출력되는 전기적인 신호가 제어부(16)에서 영상 처리되어 하나의 이미지로서 저장부(12)에 연속적으로 저장된다. 저장부(12)는 램(RAM)과 같은 휘발성 메모리에 할당될 수 있다.
표시부(14)는 영상 촬영부(11)에서 촬영한 영상 또는 영상 기록부(13)에 기저장된 영상을 사용자의 요구에 따라 표시하고, 표시된 영상으로부터 합성할 객체의 추출 및 합성에 필요한 작업 화면을 표시한다. 표시부(14)는 LCD, LED 등의 디스플레이 장치로 구성될 수 있다.
입력부(15)는 영상 촬영부(11)의 촬영 개시, 영상 촬영부(11) 또는 영상 기록부(13) 중 어느 하나의 모드 선택, 모드 선택을 통한 영상 입력, 객체 선택, 오차 보정 등을 위한 이벤트 신호를 발생시킨다. 입력부(15)는 다수의 버튼이나 키패드로 구성될 수 있고, 표시부(14)에 터치패드가 부착되어 표시부(14)가 터치스크린으로 이루어지면 입력부(15)는 표시부(14)와 일체로 구성될 수 있다. 특히, 모바일 기기가 풀 터치 폰, 스마트 폰, 태블릿 PC 등 전면 터치스크린으로 이루어진 경우, 입력부(15)는 사용자의 터치를 통해 입력 동작을 수행한다.
제어부(16)는 모바일 기기의 각 구성요소를 전체적으로 제어한다.
그리고, 제어부(16)는 적어도 하나 이상의 영상으로부터 합성할 객체를 추출하고 추출한 객체를 다른 영상과 합성하는 등 본 발명의 영상 추출 기능 및 영상 합성의 기능을 제어한다.
이를 테면, 제어부(16)가 영상 촬영부(11) 또는 영상 기록부(13)로부터 주어진 영상에서 입력부(15)로부터 합성할 객체의 선택을 입력받으면 입력받은 객체의 영상을 리사이즈화하여 영상 분할을 통해 해당 객체의 경계선을 추출하고, 추출한 객체의 경계선에 대하여 오차 보정을 수행함으로써 이미 주어진 영상에 대한 영상의 추출 기능을 제공한다.
그리고 제어부(16)가 입력부(15)의 조작에 따라 영상 촬영부(11) 또는 영상 기록부(13)로부터 배경 영상을 로딩하고, 이 배경 영상에 보정을 통해 최종 추출한 객체 영상을 오버레이하여 배경 영상과 합성하는 기능을 제공할 수 있다.
또한, 제어부(16)가 영상 촬영부(11)를 통해 촬영하는 중에 입력부(15)로부터 촬영 화면에서 추출할 객체의 선택을 입력받으면 입력받은 객체의 영상을 상기의 추출 방법에 의해 추출하여 추출한 객체만 촬영하도록 제공할 수 있다.
이러한 동작은 모바일 기기에서 하드웨어 구성을 기반으로 수행되는 것으로 설명하고 있으나, 소프트웨어적인 프로그램으로 구현하여 실행될 수 있고, 또는 어플리케이션으로 구현되어 제공될 수 있다. 이상에서 설명하지 않은 영상 추출 및 합성에 관한 상세 기능은 도 1 및 도 2에서 설명한 영상 추출 및 합성 장치의 구성과 중복되므로 생략한다.
도 4는 본 발명의 실시 예에 따른 영상 합성 방법을 설명하는 도면이다. 참고로, 영상 합성 방법의 각 과정별로 도 7 및 8의 사용자 인터페이스 화면을 예로 들어 설명한다.
먼저 영상 추출 및 합성을 위해 사용자가 편집할 영상을 선택하는데, 이의 영상 선택 방법으로는 도 7에 도시한 바와 같이 두 가지 방법(701, 702)이 있다. 즉, 모바일 기기에서의 갤러리와 같이 영상 기록부에 기 저장된 영상 중 하나를 선택하는 방법(도 7의 (b)참조), 영상 촬영 모드를 선택하여 현장에서 바로 촬영을 통해 원하는 영상을 획득하는 방법(도 7의 (c)참조)이다.
두 가지 방법을 통해 선택된 제1 영상(800)에서, 영상 추출 및 합성 장치는 사용자로부터 원하는 객체의 선택을 입력받아 합성할 또는 추출할 객체를 선택한다(S100). 도 8에 표기한 바와 같이 제1 영상(800)에서 사용자가 손가락이나 조작 도구를 이용하여 원하는 객체가 포함되게 바운더리(810)를 입력하면, 영상 추출 및 합성 장치가 객체 선택부를 통해 사용자가 입력한 바운더리(810)를 수신하고 수신한 바운더리(810)에 포함되는 객체(810')의 영상을 선택한다.
이러한 과정은 사용자가 합성할 또는 추출할 객체의 외곽을 정확하게 지정하지 않더라도 객체의 근방만 지정하면 자동으로 해당 객체를 선택하기 때문에 사용자의 조작 편의를 제공한다.
이후, 영상 추출 및 합성 장치가 사용자에 의해 선택된 객체의 영상에 대하여 영상 분할(image segmentation) 알고리즘을 통해 분석하여 영상의 깊이 정보를 생성하고 생성한 깊이 정보를 근거로 합성할 또는 추출할 객체의 경계선을 추출한다(S110).
이의 구체적인 과정으로 도 5을 참조하면, 영상 추출 및 합성 장치의 객체 추출부에서, 영상 분할을 하기 전에 선택한 객체의 영상을 리사이즈화하고(S111), 리사이즈화한 영상을 영상 분할 알고리즘을 통해 분석하여 객체의 외곽(경계선)을 추출한다(S112). 그리고 추출한 객체의 영상을 원래의 크기로 변환한다(S113).
이후, 도 4에 도시한 것처럼 영상 추출 및 합성 장치가 추출한 객체에 대하여 오차 보정 요구가 있는지를 판단한다(S120).
판단 결과 오차 보정 요구가 있으면, 영상 추출 및 합성 장치가 추출한 객체에 대하여 회귀 보간법(bilateral filter)에 의한 영상 분할(image segmentation)을 수행하여 객체의 경계선에 대한 오차를 보정한다(S130). 구체적으로 오차를 보정하는 과정은 도 6에서 자세히 설명한다.
이후, 상기의 S130 단계를 거쳐 오차 보정을 완료하였거나, 또는 상기의 S120 단계에서 판단 결과 오차 보정의 요구가 없으면, 영상 합성 장치가 영상 기록부에 기 저장된 영상 또는 영상 촬영부를 통해 배경 영상이 될 제2 영상을 불러온다(S140). 제2 영상의 선택 방법 또한 도 7 및 도 8에 도시한 바와 같이 두 가지 방법을 이용할 수 있다.
배경 영상은 제2 영상 자체를 그대로 적용할 수 있고, 제2 영상에서 일부 영상만을 추출하여 적용할 수 있다.
이때, 영상 합성 장치가 영상 촬영부를 통해 배경 영상을 선택하는 경우 촬영하는 화면 상에 오차 보정을 통해 최종적으로 추출한 객체 영상(840)을 오버레이되게 표시함으로써 사용자에게 합성할 배경과의 합성 위치 및 각도 등을 고려하여 보다 손쉽게 촬영할 수 있도록 사용자 인터페이스 화면을 제공한다.
이후, 영상 합성 장치가 배경 영상(850)과 함께 오차 보정을 통해 최종적으로 추출한 객체 영상(840)을 합성한다.
도 6은 도 4의 오차 보정 수행 단계(S130)에서 객체의 경계선에 대한 오차를 구체적으로 보정하는 방법을 설명하고 있다. 도 6의 보정 방법은 영상 추출 과정 및 영상 합성 과정에서 동일하게 적용할 수 있다.
도 8의 UI화면을 참조하여 설명하면, 영상 추출 및 합성 장치가 사용자로부터 오차 보정 요구가 있으면 수정 박스 생성부에서 일정 크기의 수정 박스(820)를 생성하여 화면 상에 표시한다(S131).
수정 박스(820)는 사용자의 방향키 또는 터치 조작으로 이동이 가능하고, 보정하고자 하는 영역에 포커싱되면 돋보기 기능과 같은 확대 화면(830)을 화면 상에 별도로 표시할 수 있다.
이후, 화면 상에서 수정 박스를 이동시키면서 보정하고자 영역에 포커싱하면, 영상 추출 및 합성 장치의 영상 재분할부가 포커싱한 수정 박스 내 포함되는 영상에 대하여 다시 영상 분할을 수행한다(S133). 이때, 영상 분할은 객체 경계선의 불일치를 보정하기 위한 분석으로, 조인트 양방향 필터(joint bilateral filter)를 이용한 후처리 필터링을 통해 수정 박스 안에 포함되는 영상의 깊이 정보를 재 생성하고, 재 생성한 깊이 정보를 근거로 객체의 경계선을 재 추출한다. 조인트 양방향 필터(joint bilateral filter)는 한 장의 색상 영상에 적용되는 저역 필터로서, 인접 화소와의 거리차, 색상차 각각에 대한 가우시안(Gaussian) 함수에 추가로 인접 화소와의 변위차를 파라메타로 사용한다.
이후, 경계선 보정 전 단계(도 4의 S110)에서 추출한 이전 경계선을 상기 과정을 거쳐 재 추출한 객체의 경계선으로 보정함으로써 경계선의 오차를 보상한다(S134).
한편, 본 발명은 상술한 영상 추출 및 합성 방법을 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정 기록 매체에 기록해 둘 수 있다.
예컨대, 기록 매체는 각 재생 장치의 내장형으로 하드 디스크, 플래시 메모리, RAM, ROM 등이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드일 수 있다.
이 경우, 컴퓨터로 읽을 수 있는 기록 매체에 기록한 프로그램은, 제1 영상으로부터 합성할 객체를 선택하는 단계와, 선택한 객체의 영상을 영상 분할하여 합성할 객체의 경계선을 추출하는 단계와, 추출한 객체의 경계선에 대하여 오차 보정의 요구가 있는지를 판단하는 단계와, 오차 보정에 대한 요구가 있으면 추출한 객체의 경계선을 따라 다시 영상 분할하여 해당 객체의 경계선을 재 추출함으로써 오차를 보정하는 단계와, 제2 영상으로부터 합성할 배경을 선택하는 단계와, 선택한 배경과 오차 보정을 통해 출력되는 객체를 합성하는 단계를 포함하는 영상 합성 방법을 실행할 수 있다.
또한, 컴퓨터로 읽을 수 있는 기록 매체에 기록한 프로그램은, 적어도 하나 이상의 영상으로부터 추출할 객체를 선택하는 단계와, 선택한 객체의 영상을 정해진 크기로 사이즈 변환하는 단계와, 사이즈 변환된 객체의 영상에 대하여 영상 분할 알고리즘을 통해 깊이 정보를 생성하고 생성한 깊이 정보를 근거로 객체의 경계선을 추출하는 단계와, 추출한 객체의 영상을 원 크기로 변환하는 단계와, 추출한 객체의 경계선에 오류가 있으면 수정 박스를 이용하여 다시 객체의 경계선을 재 추출하고 이를 근거하여 오차를 보정하는 단계를 포함하는 영상 추출 방법을 실행할 수 있다. 이러한 프로그램을 통해 본 발명은 영상 촬영부를 통해 방금 촬영하였거나 이전에 촬영한 영상을 대상으로 편집하는 것을 기본으로 제공하지만, 추가로 영상 촬영부로 배경과 객체를 촬영하는 도중에도 적용하여 촬영 화면에서 사용자가 원하는 객체를 선택하면 선택한 객체만 추출하여 사용자가 원하는 객체만 촬영하도록 제공할 수 있을 것이다.
상기 영상 추출 및 합성을 위한 프로그램은 어플리케이션 형태로 제공될 수 있다. 어플리케이션 서버는 데이터베이스에 영상 추출 및 합성을 위한 어플리케이션을 저장 관리하고, 클라이언트 단말기의 요청이 있을 때 어플리케이션을 클라이언트 단말기에 전송한다. 클라이언트 단말기는 어플리케이션을 다운로드 받아 설치하고 어플리케이션을 실행한다. 어플리케이션이 실행되면 클라이언트 단말기는 영상 추출 및 합성 장치로서 동작하여 하나의 영상에서 객체와 배경을 구분하여 추출하고 추출한 객체를 다른 배경과 합성하여 새로운 영상을 제작할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 지점하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.
본 발명의 명세서에서 설명하는 기능적 동작과 구현물은 디지털 전자회로로 구현되거나 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나 이들 중 하나 이상의 조합으로 구현될 수 있다. 본 발명의 명세서에서 설명하는 구현물은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 데이터 처리 장치의 동작을 제어하기 위하여 또는 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.
본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.
본 발명의 도면은 동작과정을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 특정한 순서로 그러한 동작들을 수행해야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해해서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
또한 본 발명의 명세서에서 특정한 실시형태를 설명하였다. 실시형태들은 이하의 특허청구범위에 속한다. 예컨대, 청구항에 기재된 동작들은 상이한 순서로 수행되면서 여전히 바람직한 결과를 성취할 수 있다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

Claims (24)

  1. 제1 영상으로부터 합성할 객체를 선택하는 객체 선택부;
    상기 객체 선택부에서 선택된 객체의 영상을 정해진 크기로 리사이즈(re-size)화하고 리사이즈화한 객체의 영상에 대하여 영상 분할(image segmentation) 알고리즘을 통해 깊이 정보를 생성하여 상기 깊이 정보를 근거로 객체의 경계선을 추출하며 추출한 객체의 경계선을 따라 오차를 보정하여 보상된 객체 영상을 추출하는 객체 추출부; 및
    배경 영상이 될 제2 영상을 입력받고, 입력받은 배경 영상을 상기 객체 추출부에서 최종 추출한 객체 영상과 합성하는 영상 합성부
    를 포함하는 것을 특징으로 하는 영상 합성 장치.
  2. 제 1 항에 있어서,
    피사체를 촬영하여 전기적 신호로 변환하는 영상 촬영부;
    상기 영상 촬영부를 통해 촬영한 영상 또는 외부의 장치로부터 수신한 영상을 기록하는 영상 기록부를 더 포함하고,
    상기 제1 영상 및 제2 영상은 상기 영상 기록부에 기 저장된 영상으로부터 불러오거나 또는 상기 영상 촬영부를 통해 즉시 촬영한 영상인 것을 특징으로 하는 영상 합성 장치.
  3. 제 1 항에 있어서,
    상기 객체 선택부는
    상기 제1 영상에서 사용자가 터치한 바운더리의 입력을 수신하고, 수신한 바운더리에 포함되는 객체의 영상을 선택하는 것을 특징으로 하는 영상 합성 장치.
  4. 제 1 항에 있어서,
    상기 객체 추출부는
    상기 추출한 경계선을 따라 보정하고자 하는 영역이 포커싱되면 포커싱된 영역에 대하여 실시간으로 영상 분할을 다시 수행하여 객체의 경계선을 재 추출하고, 재 추출한 경계선으로 보정하여 상기 추출한 경계선의 오차를 보상하는 것을 특징으로 하는 영상 합성 장치.
  5. 제 1 항에 있어서,
    상기 영상 합성부는
    상기 배경 영상이 될 제2 영상을 상기 영상 촬영부를 통해 획득할 때 촬영하는 화면 상에 상기 객체 추출부에서 최종 추출한 객체 영상을 오버레이(overlay)로 표시하는 것을 특징으로 하는 영상 합성 장치.
  6. 적어도 하나 이상의 영상으로부터 추출할 객체를 선택하는 객체 선택부;
    상기 객체 선택부에서 선택한 객체의 영상을 정해진 크기로 변환하는 리사이징부;
    상기 리사이즈화한 객체의 영상에 대하여 영상 분할 알고리즘을 통해 분석하여 깊이 정보를 생성하고 상기 깊이 정보를 근거로 상기 객체의 외곽(경계선)을 추출하는 영상 분할부;
    상기 영상 분할부를 통해 추출한 객체의 영상을 원 크기로 변환하는 영상 크기 변환부; 및
    상기 영상 크기 변환부를 통해 변환한 객체의 영상에 대하여 상기 영상 분할 알고리즘을 통해 객체의 경계선을 재추출하고 재추출한 객체의 경계선에 대한 오차를 보정하는 경계선 보정부
    를 포함하는 것을 특징으로 하는 영상 추출 장치.
  7. 제 6 항에 있어서,
    상기 경계선 보정부는
    상기 영상 크기 변환부를 통해 변환한 객체의 영상에 대하여 사용자로부터 오차 보정의 요구가 수신되면 일정 크기를 갖는 수정 박스를 생성하여 표시부로 표출하는 수정 박스 생성부와,
    상기 수정 박스의 이동에 의해 보정하고자 하는 영역이 포커싱되면 상기 수정 박스 내에 보여지는 영상에 대하여 결합형 양방향 필터(joint bilateral filter)를 통해 영상 분할하여 깊이 정보를 재 생성하고 상기 깊이 정보를 근거로 객체의 경계선을 재 추출하는 영상 재분할부와,
    상기 영상 재분할부를 통해 재추출한 객체의 경계선이 이전 경계선과 다른 경우 상기 재추출한 객체의 경계선으로 보정하여 오차를 보상하는 보정부
    를 포함하는 것을 특징으로 하는 영상 추출 장치.
  8. 제 6 항에 있어서,
    상기 적어도 하나 이상의 영상은 기 저장된 영상으로부터 불러오거나 또는 영상 촬영부를 통해 즉시 획득한 영상인 것을 특징으로 하는 영상 추출 장치.
  9. 제 6 항에 있어서,
    상기 객체 선택부는
    상기 적어도 하나 이상의 영상에서 사용자가 터치한 바운더리의 입력을 수신하고, 수신한 바운더리에 포함되는 객체의 영상을 선택하는 것을 특징으로 하는 영상 추출 장치.
  10. 피사체를 촬영하여 전기적 신호로 변환하는 영상 촬영부;
    상기 영상 촬영부를 통해 촬영한 영상 또는 외부로부터 수신한 영상을 기록하는 영상 기록부;
    상기 영상 촬영부를 통해 촬영한 영상 또는 상기 영상 기록부에 기 저장된 영상으로부터 합성할 배경 및 객체를 바운더리로 지정하여 입력하는 입력부;
    상기 입력부로부터 합성할 배경 및 객체의 선택을 입력받으면, 입력받은 객체의 영상을 정해진 크기로 리사이즈화 하여 영상 분할(image segmentation) 알고리즘을 통해 객체의 경계선을 추출하고 추출한 객체의 경계선에 대하여 오차 보정을 수행하며, 보정을 통해 최종적으로 추출되는 객체 영상을 상기 입력받은 배경 영상과 합성하는 제어부
    를 포함하는 것을 특징으로 하는 단말장치.
  11. 제 10 항에 있어서,
    상기 제어부는
    상기 추출한 객체의 경계선에 대하여 오차 보정에 대한 요구를 수신하게 되면 표시부에 일정 크기를 갖는 수정 박스를 생성하고, 상기 수정 박스의 이동에 의해 보정하고자 하는 영역이 포커싱되면 포커싱된 수정 박스 내 영상을 다시 영상 분할하여 객체의 경계선을 재 추출하고 재 추출한 객체의 경계선을 상기 표시부로 출력하는 것을 특징으로 하는 단말장치.
  12. 제1 영상으로부터 합성할 객체의 선택을 입력받는 객체 선택 단계;
    선택한 객체의 영상을 영상 분할(image segmentation) 알고리즘을 통해 분석하여 깊이 정보를 생성하고 상기 깊이 정보를 근거로 합성할 객체의 경계선을 추출하는 객체 추출 단계;
    추출한 객체의 경계선에 대하여 오차 보정의 요구가 있는지를 판단하는 보정 요구 판단 단계;
    상기 오차 보정에 대한 요구가 있으면 상기 추출한 객체의 경계선을 따라 상기 영상 분할 알고리즘을 통해 분석하여 객체의 경계선을 재추출하고 재추출한 객체의 경계선에 대한 오차를 보정하는 경계선 보정 단계;
    제2 영상으로부터 합성할 배경을 선택받는 배경 선택 단계; 및
    상기 보정을 통해 최종적으로 추출한 객체와 상기 선택한 배경을 합성하는 합성 단계
    를 포함하는 것을 특징으로 하는 영상 합성 방법.
  13. 제 12 항에 있어서,
    상기 제1 영상과 제2 영상은 서로 다른 영상이고,
    영상 기록부에 기 저장된 영상으로부터 불러오거나 또는 상기 영상 촬영부를 통해 즉시 획득한 영상인 것을 특징으로 하는 영상 합성 방법.
  14. 제 12 항에 있어서,
    상기 객체 선택 단계는
    상기 제1 영상 및 제2 영상에서 사용자가 입력한 바운더리 영역을 수신하고, 수신한 바운더리에 포함되는 객체의 영상을 선택하는 것을 특징으로 하는 영상 합성 방법.
  15. 제 12 항에 있어서,
    상기 객체 추출 단계는
    상기 선택한 객체의 영상을 영상 분할 하기 전, 후에 상기 객체의 영상 크기를 확대 또는 축소하는 것을 특징으로 하는 영상 합성 방법.
  16. 제 12 항에 있어서,
    상기 경계선 보정 단계는
    상기 추출한 경계선을 따라 이동 가능한 수정 박스를 생성하고, 상기 수정 박스를 통해 보정하고자 하는 영역이 포커싱되면 포커싱된 영역을 결합형 양방향 필터(joint bilateral filter)를 통해 실시간 분석하여 객체에 대한 경계선 오차를 보정하는 것을 특징으로 하는 영상 합성 방법.
  17. 제 16 항에 있어서,
    상기 경계선 보정 단계는
    돋보기 기능으로 상기 포커싱한 영역을 돋보기 형태로 확대한 화면을 제공하는 것을 특징으로 하는 영상 합성 방법.
  18. 제 12 항에 있어서,
    상기 합성 단계는
    상기 배경 영상이 될 제2 영상을 상기 영상 촬영부를 통해 획득할 때 촬영하는 화면 상에 상기 객체 추출부에서 최종 추출한 객체 영상을 오버레이(overlay)로 표시하는 것을 특징으로 하는 영상 합성 방법.
  19. 제 12 항 내지 제18항 중 어느 하나의 영상 합성 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  20. 적어도 하나 이상의 영상으로부터 추출할 객체를 선택하는 객체 선택 단계;
    상기 객체 선택 단계에서 선택한 객체의 영상을 정해진 일정 크기로 변환하는 리사이징 단계;
    상기 리사이즈화 한 객체의 영상을 영상 분할 알고리즘을 통해 분석하여 깊이 정보를 생성하고 상기 깊이 정보를 근거로 객체의 경계선을 추출하는 영상 분할 단계;
    상기 영상 분할 단계를 통해 추출한 객체의 영상을 원 크기로 변환하는 영상 크기 변환 단계; 및
    상기 영상 크기 변환부를 통해 변환한 객체의 영상에 대하여 상기 영상 분할 알고리즘을 통해 분석하여 상기 객체의 경계선을 재추출하고 재추출한 객체의 경계선에 대한 오차를 보정하는 경계선 보정 단계
    를 포함하는 것을 특징으로 하는 영상 추출 방법.
  21. 제 20 항에 있어서,
    상기 경계선 보정 단계는
    상기 영상 크기 변환부를 통해 변환한 객체의 영상에 대하여 오차 보정에 대한 요구를 수신하게 되면 일정 크기를 갖는 수정 박스를 생성하여 표시부로 표시하는 수정 박스 생성 단계와,
    상기 수정 박스를 이동하여 보정하고자 하는 영역에 포커싱하면 포커싱된 영역을 결합형 양방향 필터(joint bilateral filter)를 통해 다시 분할(segmentation)하여 객체의 경계선을 재추출하는 영상 재분할 단계와,
    재추출한 객체의 경계선이 이전 경계선과 다른 경우 상기 재추출한 객체의 경계선으로 보정하여 오차를 보상하는 보정 단계
    를 포함하는 것을 특징으로 하는 영상 추출 방법.
  22. 제 20 항에 있어서,
    상기 적어도 하나 이상의 영상은 기 저장된 영상으로부터 불러오거나 또는 영상 촬영부를 통해 즉시 획득한 영상인 것을 특징으로 하는 영상 추출 방법.
  23. 제 20 항에 있어서,
    상기 객체 선택 단계는
    상기 적어도 하나 이상의 영상에서 사용자가 입력한 바운더리 영역을 수신하고, 수신한 바운더리에 포함되는 객체의 영상을 선택하는 것을 특징으로 하는 영상 추출 방법.
  24. 제 20 항 내지 제 23 항 중 어느 하나의 영상 추출 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2012/007097 2012-06-29 2012-09-05 영상 추출 및 합성 장치, 이의 방법 WO2014003237A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0070801 2012-06-29
KR1020120070801A KR101349699B1 (ko) 2012-06-29 2012-06-29 영상 추출 및 합성 장치, 이의 방법

Publications (1)

Publication Number Publication Date
WO2014003237A1 true WO2014003237A1 (ko) 2014-01-03

Family

ID=49783355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/007097 WO2014003237A1 (ko) 2012-06-29 2012-09-05 영상 추출 및 합성 장치, 이의 방법

Country Status (2)

Country Link
KR (1) KR101349699B1 (ko)
WO (1) WO2014003237A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207969A1 (ko) * 2017-05-10 2018-11-15 국방과학연구소 객체 검출 및 분류 방법
CN111602140A (zh) * 2018-05-11 2020-08-28 三星电子株式会社 分析由头戴式设备的相机记录的图像中的对象的方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051390A (ko) * 2014-11-03 2016-05-11 삼성전자주식회사 전자장치 및 전자장치의 필터 제공 방법
KR101634342B1 (ko) * 2014-12-29 2016-06-30 주식회사 다이나맥스 데이터 저장용량을 절약할 수 있도록 배경 이미지에 오버레이 된 이벤트 영상을 이용한 cctv 시스템
KR101733125B1 (ko) * 2015-11-18 2017-05-08 (주)케이아이에스 배경스크린이 필요 없는 크로마키 영상 합성 방법
US11151747B2 (en) 2019-03-20 2021-10-19 Kt Corporation Creating video augmented reality using set-top box
CN110365907B (zh) * 2019-07-26 2021-09-21 维沃移动通信有限公司 一种拍照方法、装置及电子设备
CN110611840B (zh) * 2019-09-03 2021-11-09 北京奇艺世纪科技有限公司 一种视频生成方法、装置、电子设备及存储介质
KR102374665B1 (ko) * 2020-12-16 2022-03-15 이지예 개인방송을 위한 방송영상 생성방법 및 이를 위한 방송영상 생성시스템
KR102551981B1 (ko) * 2023-02-17 2023-07-06 주식회사에스에이티 고속도로에서 적재 불량 단속 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960035351A (ko) * 1995-03-29 1996-10-24 다까노 야스아끼 3차원 표시 화상 생성 방법, 깊이 정보를 이용한 화상 처리 방법, 깊이 정보 생성 방법
JP2006157916A (ja) * 2004-11-26 2006-06-15 Lg Electronics Inc 端末機の画像合成装置及び画像合成方法
KR20090062440A (ko) * 2007-12-13 2009-06-17 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
JP2009210486A (ja) * 2008-03-05 2009-09-17 Ntt Comware Corp 奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム
KR20120060549A (ko) * 2010-12-02 2012-06-12 전자부품연구원 사용자 단말 및 이를 이용한 영상 통화 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100627049B1 (ko) * 2004-12-03 2006-09-25 삼성테크윈 주식회사 디지털 카메라에서 촬영 영상에 객체를 합성하는 장치 및방법
KR101245957B1 (ko) * 2009-09-23 2013-03-21 한양대학교 에리카산학협력단 배경 제거와 그래프 컷을 이용한 비교사 영상 분할 방법 및 시스템
KR101082665B1 (ko) * 2009-10-21 2011-11-14 한양대학교 산학협력단 관심 객체 추출 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960035351A (ko) * 1995-03-29 1996-10-24 다까노 야스아끼 3차원 표시 화상 생성 방법, 깊이 정보를 이용한 화상 처리 방법, 깊이 정보 생성 방법
JP2006157916A (ja) * 2004-11-26 2006-06-15 Lg Electronics Inc 端末機の画像合成装置及び画像合成方法
KR20090062440A (ko) * 2007-12-13 2009-06-17 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
JP2009210486A (ja) * 2008-03-05 2009-09-17 Ntt Comware Corp 奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム
KR20120060549A (ko) * 2010-12-02 2012-06-12 전자부품연구원 사용자 단말 및 이를 이용한 영상 통화 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207969A1 (ko) * 2017-05-10 2018-11-15 국방과학연구소 객체 검출 및 분류 방법
CN111602140A (zh) * 2018-05-11 2020-08-28 三星电子株式会社 分析由头戴式设备的相机记录的图像中的对象的方法
CN111602140B (zh) * 2018-05-11 2024-03-22 三星电子株式会社 分析由头戴式设备的相机记录的图像中的对象的方法

Also Published As

Publication number Publication date
KR20140003116A (ko) 2014-01-09
KR101349699B1 (ko) 2014-01-10

Similar Documents

Publication Publication Date Title
WO2014003237A1 (ko) 영상 추출 및 합성 장치, 이의 방법
US20200050655A1 (en) Image processing apparatus, control method for the same, image processing system, and program
JP6157242B2 (ja) 画像処理装置及び画像処理方法
US20120092529A1 (en) Method for processing an image and an image photographing apparatus applying the same
US20130021489A1 (en) Regional Image Processing in an Image Capture Device
WO2013118955A1 (ko) 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR101605771B1 (ko) 디지털 촬영 장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
WO2018174505A1 (en) Methods and apparatus for generating video content
US8717453B2 (en) Video processing apparatus, and control method and program therefor
KR20110014451A (ko) 장면에 따른 해상도 및 화질 변경 기능을 갖는 디지털 영상 신호 처리 방법, 상기 방법을 기록한 기록 매체, 디지털 영상 처리 장치
US20100329552A1 (en) Method and apparatus for guiding user with suitable composition, and digital photographing apparatus
US9258458B2 (en) Displaying an image with an available effect applied
US8947558B2 (en) Digital photographing apparatus for multi-photography data and control method thereof
WO2021066565A1 (en) Image processing method and electronic device supporting the same
WO2015105372A1 (en) Method and system for synchronizing usage information between device and server
WO2014107025A1 (en) Method and apparatus for controlling contents in electronic device
EP2648403B1 (en) Digital image processing apparatus and controlling method thereof
US20150036020A1 (en) Method for sharing original photos along with final processed image
KR101265613B1 (ko) 영상 촬영 장치 및 영상 촬영 장치의 파노라마 이미지 제작방법
JPH08331495A (ja) 撮影機能付き電子アルバムシステム
JP6021594B2 (ja) 撮像装置及びプログラム
US20080151077A1 (en) Image processor and imaging device
US20210400192A1 (en) Image processing apparatus, image processing method, and storage medium
CN105794193A (zh) 图像处理设备、图像处理方法和程序
JP6994993B2 (ja) 放送用編集装置、放送システム及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12880183

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12880183

Country of ref document: EP

Kind code of ref document: A1