WO2014163422A1 - 개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치 - Google Patents

개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치 Download PDF

Info

Publication number
WO2014163422A1
WO2014163422A1 PCT/KR2014/002913 KR2014002913W WO2014163422A1 WO 2014163422 A1 WO2014163422 A1 WO 2014163422A1 KR 2014002913 W KR2014002913 W KR 2014002913W WO 2014163422 A1 WO2014163422 A1 WO 2014163422A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
input
main image
icon
area
Prior art date
Application number
PCT/KR2014/002913
Other languages
English (en)
French (fr)
Inventor
박정환
강희경
마사히코수그리
전우진
Original Assignee
Park Jung Hwan
Kang Hee Kyung
Masahiko Suguri
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Park Jung Hwan, Kang Hee Kyung, Masahiko Suguri filed Critical Park Jung Hwan
Priority to US14/781,911 priority Critical patent/US10061493B2/en
Priority to EP14780204.5A priority patent/EP2983078B1/en
Priority to JP2016510609A priority patent/JP2016521418A/ja
Publication of WO2014163422A1 publication Critical patent/WO2014163422A1/ko
Priority to US15/858,745 priority patent/US10824313B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to techniques for creating and editing images in mobile devices such as smartphones. More specifically, the present specification describes an efficient method, an apparatus, and a mechanism for generating an image in which an object is inserted by inserting content such as another image, a video, and the like into one image, and editing the generated image.
  • a personal computer or mobile device When opening an image file using a personal computer or mobile device, detailed information or a larger picture of a specific portion of the image file may be required. For example, in the case of a portrait, information about the name of the person represented in the image may be requested. In this case, a method is generally used in which the device or system recognizes a face included in the image and automatically or manually tags a person's name at that location. For photographs of the structure of a machine such as a car or a smartphone, a more detailed image may be requested for a particular part, such as a side view showing the thickness of the wheel, headlight, or smartphone of the vehicle, or the connection jack part. have. In this case, you should generally use the method of enlarging the image of the part, or check additional information (such as finding and executing a file corresponding to the additional material on the hard disk) that contains detailed information about the part. .
  • the present invention provides a method of stacking the object to be inserted in a partial area when there are several objects to be inserted into one image, thereby creating a method of inserting an object inserted image of a plurality of objects Its purpose is to provide.
  • Another object of the present invention is to provide a gesture for minimizing touch input in a method of creating and / or editing an object insertion image.
  • a method of generating and editing an object insertion image in a mobile device may include determining a main image by a control module of the mobile device; Receiving input for determining an entity from a user; Displaying the determined entity on a first area of the screen of the mobile device; Receiving a start of a touch input for the displayed object; Displaying a menu for the object on the screen in response to the touch input; Receiving a first drag input for changing a touch point indicated by the touch input; If the touch point is located in the menu by the first drag input, displaying the main image on the first area, and displaying an icon of the object on the touch point as an overlay on the main image ; Receiving a second drag input for placing the icon at a point of the main image; And when the end of the touch input is received, the object can be solved by performing the step of generating the object insertion image inserted into the object of the main image.
  • a mobile computing device may be used to solve the above problems.
  • the mobile computing device may include a control module, a communication module, a display module, a photographing module, a storage unit, and a screen.
  • an input / output unit may be included, and components of such a device may be deleted / added for an efficient function.
  • One embodiment of a mobile device for creating and editing an object insertion image comprises: a control module for determining a main image and generating and editing an object insertion image; A display module for displaying a main image and an object; And a storage unit for storing the main image, the object, or the object insertion image, wherein the control module causes the display module to display a menu for the object based on a first user input received from the user.
  • the display module to display an icon for the object as an overlay on the display of the main image and move the icon to a specific location of the main image based on a second user input to the menu.
  • the object insertion image in which the object is inserted at the specific position of the main image may be generated based on a user input.
  • the invention may consist of program code configured to perform the time series method described above.
  • Such program code may be utilized in mobile computing devices as a form of application, or in equipment such as digital cameras that include personal computers, laptops, desktops, and computing devices. have.
  • the present invention can be implemented through a computer readable recording medium including program code for performing the above-described time series method.
  • the recording medium may be in various forms such as an optical disk, flash memory, SSD, HDD, RAM, ROM.
  • Such recording media may perform a method for solving the problem with a computing device to which the recording media is applicable.
  • the present invention can also solve the above-mentioned problem by a cloud computing system.
  • the server performs operations required for data storage and object insertion image generation / editing processes
  • the client terminal receives user inputs (eg, touch-based inputs) from the user and transmits them to the server, and processes the operations from the server.
  • the result can be received and displayed on the screen of the terminal.
  • FIG. 1 schematically illustrates a method for creating an image with an object inserted therein.
  • FIG. 2 illustrates a method of inserting an object into a main image according to an embodiment of the present invention.
  • FIG. 3 illustrates a method of inputting the content of an object after determining a position to insert the object in the main image.
  • FIG. 4 illustrates a method of generating an object insertion image according to another exemplary embodiment of the present invention.
  • FIG. 5 illustrates an example of area division and area use of a mobile device screen.
  • FIG. 6 illustrates a method of stacking objects on one screen.
  • FIG. 7 illustrates a flowchart of generating an object insertion image by inserting the object image into the main image.
  • FIG. 8 is a flowchart of generating an object insertion image after determining a main image and an object.
  • FIG. 10 illustrates a method of separating or deleting an object from an image into which the object is inserted.
  • FIG. 11 illustrates a mobile device for implementing one embodiment of the present invention.
  • a main picture or a main image means a picture into which objects are inserted.
  • the content inserted into the main image is referred to as an object (detail or object).
  • the object may be an image, video, text, voice recording, a link to another file, or a Uniform Resource Locator (URL).
  • an object-embedded image means a detailed picture to which objects are attached. That is, the object insertion image is composed of a main image and at least one object.
  • a method of inserting a first object (detail 1) and a second object (detail 2) into a main picture is illustrated.
  • all objects to be inserted are images, and all images are described as being taken by a camera of a mobile device.
  • the main image (large number of flowers and trees) is taken.
  • the captured main image is stored in the storage of the mobile device, and the user can continuously take the next picture.
  • the camera's focus can be zoomed in automatically or manually.
  • the first object (specific flower) is photographed and displayed on the screen of the mobile device.
  • the user touches a predetermined area of the displayed first object the main image is displayed on the screen of the mobile device, and the circular point, the reduced image of the first object, or the first object is displayed at the position touched by the user.
  • Indicated icons and the like (hereinafter described as 'icons') are displayed.
  • the user drags this icon to a position corresponding to a specific flower corresponding to the first object in the main image where the flowers and trees are photographed, and then ends touch input (that is, releases the touch screen from the mobile device). )do.
  • the user may switch the mobile device back to the shooting mode by selecting a shooting button or by inputting a predefined gesture action for switching to the shooting mode.
  • the icon of the second object is dragged to a position corresponding to the tree of the main image in the same manner as the first object is inserted, and then touch input is terminated.
  • an object insertion image in which two objects (a first object and a second object) are inserted can be generated.
  • the object insertion image generated in this way can be viewed by using an image viewer application of the mobile device.
  • the object is displayed on the screen of the mobile device or the object is a video or audio. In the case of a file).
  • FIG. 2 illustrates a method of inserting an object into a main image according to an embodiment of the present invention.
  • a user enters a photographing mode by driving a photographing module of a mobile device. If the subject is a car, the user first photographs the overall appearance of the car. The captured image is stored as the main image. This storage process may be performed by user input or automatically on an application implementing the shooting mode (step 201).
  • the user can take a detailed picture of each component of the vehicle.
  • the photographed picture may be used as an object to be inserted into the main image.
  • the shooting mode may be automatically switched to the zoom-in mode when capturing an object photograph.
  • the controller of the mobile device may cause the capturing module to automatically zoom in by a predetermined magnification.
  • the user may arbitrarily zoom in to take a detailed picture. It is also possible to combine the two methods described above, that is, the photographing module automatically zooms in the camera and the user adjusts the zoom-in ratio in detail.
  • the user can now take a picture of an enlarged image of each component of the subject, that is, an object image (headlight portion) (step 202).
  • the image of the photographed object may be displayed on the screen of the mobile device.
  • an editing menu for the image of the object is displayed (step 203).
  • This menu can include attaching an object to the main image (referred to herein as "detailing"), sending it out of the mobile device over a network, taking notes on that object, and so on. have.
  • the touch point is dragged to a position of a predetermined menu, for example, a detail menu while maintaining the touch state, the image of the object is reduced or changed in the form of an icon on the changed touch point and displayed on the mobile device screen.
  • the image displayed is changed from the object image to the main image (step 204).
  • any image related to the video such as a preview image of the video and the first frame image of the video is displayed on the screen of the mobile device. Since the process from the time when the user starts a touch input to any image is the same as the process in the above-described general image, description thereof is omitted. In the case of pictures and videos already taken and stored, it is possible to detail in the above-described manner while a thumbnail or a corresponding picture is loaded from the gallery.
  • the user then drags the icon to the desired location (step 205).
  • the object image is a picture near the enlarged car headlight, so the user can move the object icon near the headlight of the main image.
  • the object is inserted into the main image with an indication that the object has been inserted at that point (step 206).
  • the user can finally create the object insertion image by storing the object insertion image.
  • the most distinctive feature of this method is that the positioning is done with one input (i.e., tapping and releasing the screen once for touch-based mobile devices such as smartphones). In this case, there is an effect of minimizing interference between photographing and photographing (a method of inserting a plurality of objects into the main image will be described later).
  • the object is a picture or a video
  • the process of selecting the main image and loading of the selected main image can be performed automatically, such a one-touch operation is possible.
  • the object insertion image may be transmitted to social network services (SNS), blogs, web pages, and the like through a communication module of the mobile device, and presentation software and document preparation on a computing device. It can be used in software, or in applications such as e-book writing software such as iBook Auther. That is, in an application that supports such an object insertion image, the object insertion image is loaded, and the portion of the object marked as inserted (e.g., semi-transparent circular points, markings, numbers, etc.) is displayed. When selected by a touch input, the original content of the object may be displayed / played back.
  • SNS social network services
  • the above-described method shows a method of determining an object to be inserted into the main image (completed creation) and then determining a position to insert the object.
  • the object is an audio file such as text or voice recording, it may not be appropriate to generate the object insertion image in this order.
  • a method of first determining a position at which an object is to be inserted and then determining the content of the object to be inserted will be described with reference to FIG. 3.
  • the main image is determined (step 301).
  • the main image may be selected from the photos stored in the storage of the mobile device.
  • a picture taken through the photographing module may be determined as the main image.
  • the main image may be automatically determined by the control module of the mobile device according to a predefined condition.
  • a menu relating to the main or object image can be brought up by selecting a part of the displayed image.
  • the menu can also be loaded in other ways, for example a predefined button is selected on the device or can be loaded by input of a predefined gesture.
  • a menu related to the main image is displayed (step 303). For example, if the menu "Input, Detail, Link, Send” is displayed, the user can move the touch point to the position where "Input” is displayed while maintaining the touch input. If the user maintains the touch state on the "input" menu for a predetermined time (step 304), an object creation menu may be displayed, such as "text, recording”. The user then drags the touch point to the position where he wants to insert the object on the main image to pass through the desired menu (eg, the “Text” menu) and ends the touch input (step 305). At the end of touch input, an event occurs and automatically provides an interface for text input (for example, a virtual keyboard).
  • an object creation menu may be displayed, such as "text, recording”.
  • the interface for voice recording is provided. Provided), and when object creation is completed (step 306) through object content input (i.e., when character input is completed), an object insertion image in which a text object is inserted is generated (step 307).
  • FIG. 4 illustrates a method of generating an object insertion image according to another exemplary embodiment of the present invention.
  • the user may generate the object insertion image while bypassing the step of displaying the menu.
  • the user touches the displayed object image to move the touch point to the menu when the menu is displayed (ie instead of performing step (203), the user may proceed to the step of placing the icon of the object at a desired point of the main image without a menu display by continuously inputting (drag) a predefined gesture while touching the object image. For example, at the point in time at which photographing of the object image of FIG. 4 is completed (step 202), the user immediately moves up and down the touch input while touching the object image (step 403). The main image is displayed on the screen of the mobile device and the object image is changed to an icon and positioned at the final touch point (step 404).
  • the user can now generate the object insertion image by moving the icon to the desired point and terminating the touch input (step 205).
  • the shape of the gesture may be defined in various ways.
  • a bypass function may be implemented by input such as down and up or triple touch. It is possible to specify different bypass definitions to carry out each command such as text entry, voice recording, transmission, etc.
  • This operation may be performed repeatedly. That is, the user may photograph the second object after the first object is inserted into the main image by the above-described process, and input the same gesture (up and down) when the photographed second object is displayed. After the gesture input, the generated icon is placed at a desired point, and the touch input is terminated. By repeating this process, an image in which a plurality of objects are inserted can be generated.
  • FIG. 5 illustrates an example of area division and area use of a mobile device screen.
  • a screen of a mobile device used in the description of the present specification may be divided into four areas.
  • a first area 501 in which an image is displayed a second area 502 in which an object icon is temporarily displayed, a third area 503 indicating a full screen area of the mobile device.
  • the above areas may overlap some or all of the other areas.
  • the second region 502 is shown to occupy a portion of the upper left portion of the first region 501, but may be located at the right side or at the top / bottom thereof.
  • 501 may be located in a portion of the third region 503 that is located outside.
  • the main / object being edited is displayed in the first area 501, when the object is selected in the object insertion image and the content is displayed / played, the entire area of the third area 503 may be executed.
  • the fourth region 504 is shown to include an area outside the screen of the device, this indicates that a gesture or touch input using the fourth region 504 is typically from the inside of the screen to the outside or vice versa. Since it may be an operation of moving an object or the like from the outside to the inside, a virtual area is shown for the purpose of easy understanding.
  • FIG. 6 illustrates a method of stacking objects on one screen.
  • This "stacking" refers to a function of inserting a small object such as an icon into a part (right or left) area of the screen without inserting it into the main image.
  • the stacked object is independent of the main screen, that is, the first area 501, and is always displayed on the top (ie, uppermost layer) of the screen. That is, even if the screen displayed in the first area 501 is switched to another screen such as a camera or an image gallery, the object inserted in the second area 502 is always the screen unless the process of creating and editing the object insertion image is finished. Is displayed at the top of the screen.
  • Such a function makes it possible to repeat the operation of stacking the object in the second region 502, so that the task of photographing the object image and the task of inserting the object into the main image can be performed.
  • a predefined gesture for example, dragging from the outside of the first area or the fourth area to the second area through the third area
  • an image for example, an image gallery
  • the image gallery is opened, the first main image is loaded, the objects 1 and 2 are inserted and stored, and the second main image is loaded again. You can also insert object 3 and save it.
  • the object stacking function allows the user to change the order, manner, and main image of the object insertion image generation operation. The method of changing the main image will be described later in detail with reference to FIG. 9.
  • step 204 described in FIG. 2 the user moves the icon to the second area 502 (step 605).
  • the icon is stacked in the second area 502.
  • the user may additionally take a picture of the tire wheel and move it to the second area 502 (step 606).
  • the user may accumulate a plurality of icons in the second area 502. Now, select one of the stacked icons (start touch input) (step 607), drag it to the desired position, release it (end touch input), and an object corresponding to the icon is inserted into the main image. Thereafter, the user can insert a plurality of objects into the main image by selecting another icon that is stacked and dragging the icon to a desired position (step 608).
  • step 701 the controller of the mobile device photographs a subject according to a photographing signal input from a user and stores the subject as a first image in a storage unit.
  • the input signal of the user may be a touch-based input or may be an input using a physical key / button.
  • the stored first image is an image in which no object is inserted and may be determined as a main image.
  • a second image is captured according to a user input signal. If the mobile device receives a touch input signal for a portion of the second image in step 703, the mobile device may display a menu applicable to the second image in step 704. This menu can be displayed as soon as an input occurs, or can be displayed if the touch input lasts for a period of time.
  • step 705 the icon of the second image is overlaid on the first image.
  • a detailed description of step 705 is as follows.
  • the user keeps the touch input entered in step 703.
  • the user moves the touch point to the position of the menu (eg, "Detail") by dragging while maintaining the touch input.
  • the touch point is moved to the menu position (or when the touch input is maintained at the position for a certain time after the movement)
  • the second image displayed in the first area is converted into the first image, and the second image is displayed as an icon. The shape is deformed and positioned at the touch point.
  • the control module of the mobile device inserts the second image at the position where the touch input is terminated on the first image.
  • the inserted second image may be attached on the first image in the form of an icon or a reduced image, and there may be only an indication that there is an inserted object simply by numbers or letters. Furthermore, depending on the mobile device, no indication may be made and an indication that an object is inserted may appear when a specific input is received.
  • the control module In operation 707, the control module generates a first image into which the second image is inserted, and stores the first image.
  • the control module may generate an object insertion image when the touch input ends, or may generate an object insertion image after a predetermined time elapses after the touch input ends, and insert a separate object from the user after the touch input ends.
  • the object insertion image may be finally generated after receiving an input indicating the end of the image generating operation.
  • FIG. 7 as described with reference to FIG. 1, a method of generating an object insertion image while capturing an image has been described. More generally, however, the content constituting the object insertion image does not necessarily need to be an image, and only the photographed image need not be used. 8 illustrates a method of generating an object insertion image by determining a main image and an object.
  • FIG. 8 is a flowchart of generating an object insertion image after determining a main image and an object.
  • the main image is determined.
  • the control module usually automatically determines the most recently taken or stored normal picture, that is, the picture to which no objects are attached, as the main image.
  • the determined main image is not changed until all the attaching objects are finished unless the main image is manually replaced by another user.
  • 9 shows an example of how the main image is determined.
  • 9 may show an image gallery 900 stored in a storage unit. Let's assume that the left side is the previously saved image. Marked Image 1 (901), Image 4 (904), and Image 8 (908) are generic images, and Image 2 (902), Image 3 (903), Image 5 (905), and Image 6 (906) without marking. ), And image 7 907, represents an image used as an object. That is, the image 2 902 and the image 3 903 recognize the image 1 901 as the main image, and the images 5 through 7 905, 906 and 907 recognize the image 4 904 as the main image. Alternatively, if there is a mixture of images with inserted objects and non-inserted images in the image gallery, the control module may predetermine the most recently captured / stored image as the main image among the normal images without the inserted objects. You can put it.
  • an entity is determined.
  • the object is not simply limited to images as already described above.
  • an object may be an image photographed by a photographing module, a video, or a text, a voice recording, a URL, or the like created for a main image.
  • An image, a video, and the like stored in the storage unit may be selected as an object, and an object such as a text or a voice recording may be created by a user input.
  • a part of an object displayed on the screen that is, a preview of an image or a video
  • a menu for the object is displayed in step 804.
  • the icon of the object is overlaid with translucency on the main image.
  • an object insertion image is generated in step 807.
  • the content duplicated with the above-described content is omitted.
  • the image 2 902 when the image 2 902 is captured after the image 1 901 is captured by the user, the image 2 902 is inserted as an object.
  • Image 1 901 is automatically determined as the main image.
  • the control module After inserting image 2 902 into image 1 901, if you want to take image 3 903 again and insert it as an object, the control module excludes image 2 902 because it is an object image and image 1
  • the image 901 is recognized as the main image and displayed on the screen (first area 501).
  • control module recognizes image 4 904 as the main image and displays it on the screen because image 4 904 is a generic image that has never been used as an object. In such a case, a change of the displayed main image is required.
  • the plurality of main images may be fixedly displayed in the form of thumbnails at the bottom of the second area.
  • the touch input may be a state in which a touch input on the object is maintained. For example, if an object is attached to a finger holding a touch input and the touch input is moved over a thumbnail of the main image located at the bottom and held for a predetermined time, the main image is displayed in full screen, and the user You can insert an object by moving it to the desired position without removing it from the screen. In this way, it is possible to load a desired main image to insert a plurality of objects randomly into a plurality of main images without going through a gallery.
  • the main image may be changed by using a stacking operation and a predefined gesture.
  • Image 5 (905) stacked on Area 2 (502)
  • the main is moved through a predefined gesture (e.g., dragging from one side of the screen inward to the screen, or pressing a button to bring up the image gallery).
  • the control module may remember that the image 4 904 is not used as the main image, and may prevent the image 4 904 from being displayed on the screen as the main image when the image 6 906 is captured. . If the information about image 4 904 is not remembered, image 4 904 is displayed again as the main image when image 6 906 is captured, and the user changes the main image by repeating stacking and gesture input. shall. This is an inefficient task.
  • the entity insertion image includes entity 1 1011 and entity 2 1012.
  • the user may detach or delete the predefined gesture by applying a predefined gesture to the inserted object. For example, if a touch input is provided to pass an inserted object a predetermined number of times, (1) the object is separated from the main image after passing a predetermined number of times (e.g., three passes as shown by solid arrows). And move along the touch point (1020).
  • the separated objects may be stacked in the second area 502 or deleted by additional input (eg, a gesture of dragging an object icon outward to the fourth area where the icon is deleted when the icon is located). have.
  • additional input eg, a gesture of dragging an object icon outward to the fourth area where the icon is deleted when the icon is located.
  • the inserted object may be immediately deleted from the main image (1030).
  • the input for deleting an object can be performed at any stage of the above-described process (but after the object icon is created), and in case of a photo or video, the original file of the object is deleted even if the object (icon) is deleted. It may not be deleted.
  • the mobile device 1 may include a control module 2, a photographing module 3, a communication module 4, a storage unit 5, a screen 6, and a display module 7.
  • a control module 2 may include a control module 2, a photographing module 3, a communication module 4, a storage unit 5, a screen 6, and a display module 7.
  • Such a configuration is exemplary, and general components may be added or deleted as implemented by those skilled in the art. For example, in the case of creating / editing an object insertion image using only the captured image or video, the component of the communication module 4 may be deleted.
  • the control module 2 may be a processor such as a CPU.
  • the control module 2 controls the overall operation of the mobile device 1 and can function as a kind of editing module in the generation and editing of the object insertion image.
  • the control module 2 may include its own memory separately from the storage unit 5.
  • the imaging module 3 is generally used to drive a camera mounted on a mobile computing device.
  • the imaging module 3 may drive one or more cameras (eg, front and rear cameras).
  • the photographing module 3 may be associated with the control module 2 to perform functions such as correcting an image, adjusting brightness and saturation, and photographing a panorama.
  • the communication module 4 handles the transmission and reception of data. In addition, it is possible to receive data necessary to create and edit the object insertion image, or transmit the generated object insertion image to an external device or an external network.
  • the communication module 4 may establish and maintain a wireless connection such as Wi-Fi, Bluetooth, and NFC as well as a wired connection such as a LAN and an intranet. Further, it may be possible to establish and maintain a connection of a telecommunication network such as a public switched telephone network (PSTN), 3G, 4G, LTE, or wide area network (WAN).
  • PSTN public switched telephone network
  • 3G Third Generation
  • 4G Third Generation
  • LTE Long Term Evolution
  • WAN wide area network
  • the storage unit 5 stores images and objects.
  • the storage unit 5 may also process temporary storage of objects stacked in the second area 502.
  • the storage unit 5 may be omitted from the components of the mobile device 1. (In this case, data is stored in the storage of the cloud server).
  • the screen 6 displays an image, a video, text, and the like.
  • the screen 6 may receive a touch input.
  • Touch input that can be received by the screen 6 includes a capacitive touch, a finger, a pen, etc., which allows a finger or the like to directly touch the screen to recognize the pressure generated by directly pressing the screen.
  • Pressure sensitive touch, or a non-contact touch that recognizes an optical signal or an electrical signal associated with the pen so that an event occurs when it is located within a short distance of a certain distance, even if it does not directly touch the screen 6 in the case of a specific pen.
  • the touch input may be interpreted as all the touch inputs described above.
  • the display module 7 receives and processes the above-described touch input and performs a task required for displaying content.
  • the display module 7 may be integrated in the control module 2 to handle the above operation.
  • the mobile device 1 may include a speaker and a microphone for voice recording and output, a physical button for a specific input, and a connection jack for receiving a key input through a keyboard / keypad connection.
  • Such a mobile device 1 may generate an object insertion image.
  • the control module 2 may determine the main image and generate and edit the object insertion image.
  • the display module 7 displays the object on the screen 6.
  • the object may be an image or video stored in the storage unit 5 or an image captured by the photographing module 3 or a preview of the video.
  • the control module 2 causes the display module 7 to display a menu for the object when a user input for the displayed object is received (touch start). When a user input for the displayed menu is received (touch hold), the control module 2 causes the display module 7 to display the main image and iconize the object and display it as an overlay on the main image.
  • the control module 2 When a user input for moving an object icon to a desired position of the main image is received and terminated (touch termination), the control module 2 generates an object insertion image in which the object is inserted at the corresponding position and stores the image in the storage unit 5. Or, it can be transmitted to an external device or an external network through the communication module (4).
  • the object insertion image may have a depth.
  • the main image may be defined as having a depth of one.
  • the other image entity (second image) also has an additional image entity (third image)
  • the main image may be defined as having a depth of two.
  • a car headlight photograph (first image) is inserted as an object image in the main image showing the entire car
  • a blueprint (second image) of the headlight lamp unit is inserted into the car headlight photograph (first image).
  • this object insertion image has a depth of one.
  • the object insertion image has a depth of two.
  • the object and the main image including the depth may express the depth numerically in an icon or a thumbnail.
  • the method of inserting an object in addition to the object image may be implemented in the following manner. While at least one object (first image) is inserted in the main image, the object to be added (second image) is moved to overlap on the already inserted object and wait for a predetermined time. Now, when one object (first image) inserted in the main image is displayed on the screen (for example, the first region 501), the object (second image) to be added with the touch input is maintained. After moving to the desired position of the inserted object (first image), the touch input is terminated.
  • the main image may be enlarged or reduced by the gesture.
  • the main image may be enlarged by dragging the touch input on the icon in a circle drawing to the right while the touch input is maintained on the object (or an icon of the object).
  • dragging a circle to the left can reduce the main image.
  • Such zooming is required because the object is inserted into the main image when the touch input is terminated (released) on the screen.
  • the object icons are stacked on the second area 502 or the like as described above, since the touch input is temporarily terminated, the general zoom function is used in the same way as pinch-to-zoom or multi-touch. It is possible.
  • the main image or the object image before, after, left, right, up, and down of an object having a three-dimensional structure may be shown in one unified form so that the relation between each other is revealed.
  • have. 12 illustrates a dimensionizing function according to another embodiment of the present invention.
  • the stacking function makes it possible to create a three-dimensional cluster structure by connecting a photograph of an object having a three-dimensional structure from various directions to a desired angle.
  • a specific object 1201-1 included in the main image 1201 may have a structure including a plurality of surfaces.
  • the main image 1202 itself may be a multi-faceted structure formed using a surface stacking function.
  • the surface may be combined in various forms.
  • a structure 1203 in which a wall is connected to a ceiling (or floor) is a three-dimensional structure including several layers.
  • a structure 1204 with photographs taken several times (from similar angles) as needed or the stacking of three-dimensional structures taken at fine angles, such as in circular spaces or squares. It may be represented by structure 1205.
  • Each side can be pasted with an individual photo using the detailing function.
  • manual or automatic mode Viewing of an object-embedded image or a detailed picture with objects is possible in manual or automatic mode. Both generally support the form in which the object is attached to the subject picture as an icon, but can support the slide form, the relationship diagram form of the objects, or the display mode surrounding the subject picture like tiles.
  • the manual mode represents a mode in which each object is selected in the expression form of the photograph to which the objects are attached to view the original object
  • the automatic mode represents a mode in which the object is automatically shown according to the insertion order.
  • the automatic mode allows you to watch a slide show.
  • the present invention can be utilized in mobile messengers such as Facebook, Twitter, SNS, KakaoTalk, line and the like. It can also be used to create product introduction photos in Internet shopping malls, and can be used as real-time reporting solutions for construction and branch auditing that require photographic materials. Personally, it can also be used to organize personal photographs and create presentation photographic material. It can also be used in a wide variety of fields, such as collecting field data from scientific investigations or creating tools for homepages / blogs.
  • any flow chart, flow chart, state diagram, pseudocode, etc. may be substantially represented on a computer readable medium, such that the computer or processor may be executed by such a computer or processor whether or not it is explicitly shown. It will be appreciated by those skilled in the art to represent the process. Therefore, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer which operates the program using a computer-readable recording medium.
  • the computer-readable recording medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical reading medium (eg, a CD-ROM, a DVD, etc.).
  • a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical reading medium (eg, a CD-ROM, a DVD, etc.).
  • processor or “control unit” should not be construed as exclusively referring to hardware capable of executing software, and without limitation, digital signal processor (DSP) hardware, read-only for storing software. Memory (ROM), random access memory (RAM), and non-volatile storage.
  • DSP digital signal processor
  • an element represented as a means for performing a specific function encompasses any way of performing a specific function, and the element may be a combination of circuit elements performing a specific function, or performing a specific function. It may include any form of software, including firmware, microcode, etc., coupled with suitable circuitry to carry out the software for.
  • the expression 'at least one of' means only the selection of the first option (A), or only the selection of the second listed option (B), or both. It is used to cover the selection of options (A and B).
  • the expression 'at least one of' means only the selection of the first option (A), or only the selection of the second listed option (B), or both. It is used to cover the selection of options (A and B).
  • only the selection of the first listed option (A), or the selection of the second listed option (B), or the third listed option (C ) Only the selection of the first and second listed options (A and B), only the selection of the second and third listed options (B and C), or the selection of all three options ( A, B, and C) may be encompassed. Even if more items are enumerated, it may be obviously extended to those skilled in the art.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

개체 삽입 이미지를 생성 및 편집하는 방법이 개시된다. 상기 방법은 메인 이미지가 결정되는 단계; 개체를 결정하는 입력을 수신하는 단계; 개체가 모바일 디바이스 화면에 디스플레이되는 단계; 개체에 대한 터치 입력을 수신하는 단계; 개체에 대한 메뉴가 화면에 디스플레이되는 단계; 터치지점을 변경하는 제1 드래그 입력을 수신하는 단계; 터치지점이 상기 메뉴에 위치하면, 제1영역에 메인 이미지를 디스플레이하고, 터치지점에 아이콘을 메인 이미지에 오버레이(overlay)로 디스플레이하는 단계; 아이콘을 메인 이미지의 일 지점에 위치시키는 제2 드래그 입력을 수신하는 단계; 및 터치 입력이 종료되면, 개체가 삽입된 개체 삽입 이미지를 생성하는 단계를 포함한다.

Description

개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치
본 발명은 스마트폰과 같은 모바일 디바이스에서 이미지를 생성 및 편집하는 기술과 관련된다. 보다 구체적으로 본 명세서에서는 하나의 이미지에 다른 이미지, 동영상 등의 컨텐츠를 삽입함으로써 개체가 삽입된 이미지를 생성하고, 그 생성된 이미지를 편집하는 효율적인 방법, 장치, 및 그 메커니즘을 기술한다.
개인 컴퓨터 또는 모바일 디바이스를 이용하여 이미지 파일을 열었을 때, 이미지 파일의 특정 부분에 대한 자세한 정보 또는 보다 확대된 사진이 요구될 수 있다. 예를 들어 인물사진의 경우에, 이미지에 나타난 인물의 이름에 대한 정보가 요청될 수 있다. 이러한 경우 일반적으로, 장치 또는 시스템이 이미지에 포함된 얼굴을 인식하고 해당 위치에 사람의 이름을 자동 또는 수동으로 태그(tag)하는 방법이 사용된다. 자동차 또는 스마트폰(smartphone)과 같은 기계의 구조에 대한 사진의 경우, 차량의 휠, 헤드라이트, 또는 스마트폰의 두께를 나타내는 측면도, 연결 잭 부분과 같이 특정 부분에 대해 보다 자세한 이미지가 요청될 수 있다. 이러한 경우, 일반적으로 해당 부분의 이미지를 확대하는 방법을 사용하거나, 해당 부분에 대해 자세한 정보를 담고 있는 추가 자료를 별도로(하드디스크에서 추가자료에 해당하는 파일을 찾아 실행시키는 것과 같이) 확인하여야 한다.
그러나 이와 같은 방법들, 즉 이미지의 특정 부분에 관련 내용을 태깅(tagging)하거나 특정 부분의 이미지를 확대하는 방법은, 입력할 수 있는 정보 또는 제공될 수 있는 해상도가 제한적이며, 추가 자료를 별도로 찾아 확인하는 것은 사용자에게 번거로운 방법이라는 문제점을 가지고 있다.
본 발명은 하나의 이미지에 다른 이미지 또는 동영상과 같은 개체를 삽입하여 이미지에 대해 자세한 정보를 제공할 수 있는 개체 삽입 이미지를 생성하는 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 하나의 이미지에 삽입하고자 하는 개체가 여러 가지인 경우, 삽입하고자 하는 개체를 일부 영역에 쌓아두는(stacking) 방법을 제공함으로써 복수개의 개체가 삽입된 개체 삽입 이미지를 생성하는 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 개체 삽입 이미지를 생성 및/또는 편집하는 방법에 있어서, 터치 입력을 최소화하기 위한 제스처를 제공하는 것을 그 목적으로 한다.
전술한 과제들은 후술하는 일련의 시계열적인 방법에 의해 해결될 수 있다. 예를 들어, 본 발명의 일 실시예에 따르면 모바일 디바이스에서 개체 삽입 이미지를 생성 및 편집하는 방법은 상기 모바일 디바이스의 제어모듈에 의해 메인 이미지가 결정되는 단계; 사용자로부터 개체를 결정하는 입력을 수신하는 단계; 상기 결정된 개체가 상기 모바일 디바이스 화면의 제1영역에 디스플레이되는 단계; 상기 디스플레이된 개체에 대한 터치 입력의 시작을 수신하는 단계; 상기 터치 입력에 응답하여 상기 개체에 대한 메뉴가 상기 화면에 디스플레이되는 단계; 상기 터치 입력이 지시하는 터치지점을 변경하는 제1 드래그 입력을 수신하는 단계; 상기 제1 드래그 입력에 의해 상기 터치지점이 상기 메뉴에 위치하면, 상기 제1영역에 상기 메인 이미지를 디스플레이하고, 상기 터치지점에 상기 개체의 아이콘을 상기 메인 이미지에 오버레이(overlay)로 디스플레이 하는 단계; 상기 아이콘을 상기 메인 이미지의 일 지점에 위치시키는 제2 드래그 입력을 수신하는 단계; 및 상기 터치 입력의 종료가 수신되면, 상기 개체가 상기 메인 이미지의 일 지점에 삽입된 개체 삽입 이미지를 생성하는 단계를 수행함으로써 전술한 과제를 해결할 수 있다.
또한 전술한 과제를 해결하기 위하여 모바일 컴퓨팅 디바이스가 이용될 수 있다. 모바일 컴퓨팅 디바이스는, 제어모듈, 통신모듈, 디스플레이 모듈, 촬영모듈, 저장부, 및 화면(screen)을 포함할 수 있다. 추가적으로 입/출력부를 포함할 수 있으며, 이와 같은 디바이스의 구성요소들은 효율적인 기능을 위해 삭제/추가될 수 있다. 개체 삽입 이미지를 생성 및 편집하기 위한 모바일 디바이스의 일 실시예는, 메인 이미지를 결정하고 개체 삽입 이미지를 생성 및 편집하는 제어모듈; 메인 이미지 및 개체를 디스플레이하는 디스플레이 모듈; 및 상기 메인 이미지, 상기 개체, 또는 상기 개체 삽입 이미지를 저장하기 위한 저장부를 포함하고, 상기 제어모듈은 상기 사용자로부터 수신된 제1 사용자 입력에 기초하여 상기 디스플레이 모듈로 하여금 상기 개체에 대한 메뉴를 디스플레이하도록 하고, 상기 메뉴에 대한 제2 사용자 입력에 기초하여 상기 디스플레이 모듈로 하여금 상기 메인 이미지의 디스플레이 위에 오버레이로 상기 개체에 대한 아이콘을 디스플레이하도록 하고, 상기 아이콘을 상기 메인 이미지의 특정 위치로 이동시키는 제3 사용자 입력에 기초하여 상기 메인 이미지의 상기 특정 위치에 상기 개체가 삽입된 개체 삽입 이미지를 생성하도록 할 수 있다.
본 발명은 상술한 시계열적인 방법을 수행하도록 구성되는 프로그램 코드로구성될 수 있다. 이와 같은 프로그램 코드는 애플리케이션의 형태로서 모바일 컴퓨팅 디바이스에서 활용되거나, 또는 개인 컴퓨터(personal computer), 랩탑(laptop), 데스크탑(desktop) 및 연산장치를 포함하고 있는 디티털 카메라와 같은 장비에서 활용될 수 있다.
나아가 본 발명은 상술한 시계열적인 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터로 읽을 수 있는 기록 매체를 통해 구현될 수 있다. 기록매체의 형태에는, 광디스크(optical disk), 플래쉬메모리(flash memory), SSD, HDD, RAM, ROM과 같은 다양한 형태가 있을 수 있다. 이와 같은 기록 매체들은 기록 매체가 적용 가능한 컴퓨팅 디바이스와 함께 과제를 해결하기 위한 방법을 수행할 수 있다.
본 발명은 클라우드 컴퓨팅 시스템에 의해서도 전술한 과제를 해결할 수 있다. 서버에서는 데이터 저장 및 개체 삽입 이미지 생성/편집 과정에 필요한 연산을 수행하고, 클라이언트 단말에서는 사용자로부터 사용자 입력(예를 들어, 터치-기반 입력)을 수신하여 서버로 전송하고, 서버로부터 상기 연산의 처리 결과를 수신하여 단말의 화면에 디스플레이 할 수 있다.
전술한 과제를 해결하기 위한 구체적인 해결 수단 및 그 방법이, 이하에서 설명되는 명세서 및 청구항에 의해 기재되어 있으며, 이하의 기재는 한정적인 관점이 아닌 설명적인 관점에서 고려되어야 할 것이다.
본 발명에 따르면, 하나 이상의 개체가 삽입된 개체 삽입 이미지를 생성함으로써 하나의 이미지로부터 다양하고 상세한 정보를 제공받을 수 있는 효과가 있다.
나아가, 최적화된 제스처를 사용함으로써, 최소한의 입력을 통해 간편하게 개체 삽입 이미지 생성 및 편집을 수행할 수 있는 효과가 있다.
도 1은 개체가 삽입된 이미지를 생성하는 방법을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따라 개체를 메인 이미지에 삽입하는 방법을 나타낸다.
도 3은 메인 이미지에 개체가 삽입될 위치를 결정하고 나서 개체의 내용을 입력하는 방법을 나타낸다.
도 4는 본 발명의 다른 실시예에 따른 개체 삽입 이미지의 생성 방법을 나타낸다.
도 5는 모바일 디바이스 화면의 영역 구분 및 영역 사용 예시를 나타낸다.
도 6은 개체를 한쪽 화면에 쌓아두는(stacking) 방법을 나타낸다.
도 7은 메인 이미지에 개체 이미지를 삽입하여 개체 삽입 이미지를 생성하는 흐름도를 나타낸다.
도 8은 메인 이미지 및 개체를 결정한 후에 개체 삽입 이미지를 생성하는 흐름도를 나타낸다.
도 9는 메인 이미지가 결정되는 방법의 일 예시를 나타낸다.
도 10은 개체가 삽입된 이미지에서 개체를 분리 또는 삭제하는 방법을 나타낸다.
도 11은 본 발명의 일 실시예를 구현하기 위한 모바일 디바이스를 나타낸다.
도 12는 본 발명의 다른 실시예에 따른 면 쌓기 기능(dimensionizing function)을 나타낸다.
이하에서는 도면을 참조하여 본 발명에 대해 보다 자세하게 설명한다.
도 1은 개체가 삽입된 이미지를 생성하는 방법을 개략적으로 도시한다. 본 명세서에서, 주체사진(main picture) 또는 메인 이미지(main image)는 개체들이 삽입되는 사진을 의미한다. 또한 메인 이미지에 삽입되는 컨텐츠는 개체(detail 또는 object)라고 표기한다. 개체는 이미지, 동영상, 문자, 음성 녹음, 다른 파일에 대한 링크, 또는 URL(Uniform Resource Locator)일 수 있다. 또한 개체 삽입 이미지(object-embedded image)는 개체들이 붙어있는 사진(detailed picture)을 의미한다. 즉, 개체 삽입 이미지는 메인 이미지와 적어도 하나의 개체로 구성된다.
도 1을 참조하면, 제1 개체(detail 1)와 제2 개체(detail 2)를 메인 이미지(main picture)에 삽입하는 방법이 도시된다. 편의상 삽입되는 모든 개체는 이미지이며, 모든 이미지는 모바일 디바이스의 카메라를 통해 촬영되는 것으로 설명한다.
우선 메인 이미지(다수의 꽃과 나무)가 촬영된다. 촬영된 메인 이미지는 모바일 디바이스의 저장부에 저장되고, 사용자는 연속적으로 다음 사진을 촬영하는 것이 가능하다. 메인 이미지가 촬영된 후에, 카메라의 초점은 자동 또는 수동으로 줌인(zoom-in)될 수 있다. 제1 개체(특정 꽃)가 촬영되고, 모바일 디바이스의 화면에 디스플레이 된다. 이제 사용자가 디스플레이 된 제1 개체의 소정 영역을 터치하면, 모바일 디바이스의 화면에는 메인 이미지가 디스플레이 되고 사용자에 의해 터치된 위치에 원 형태의 포인트, 제1 개체의 축소된 이미지, 또는 제1 개체를 지시하는 아이콘 등(이하 '아이콘'으로 설명한다)이 표시된다. 사용자는 이 아이콘을 다수의 꽃과 나무가 촬영된 메인 이미지에서 제1 개체에 대응되는 특정 꽃에 해당하는 위치로 드래그 한 뒤에, 터치 입력을 종료(즉, 모바일 디바이스의 터치 스크린에서 손을 떼는 작업)한다. 이 단계에서 사용자는 촬영 버튼을 선택하거나, 촬영 모드로 전환하는 미리 정의된 제스처 동작을 입력함으로써 모바일 디바이스를 다시 촬영모드로 전환시킬 수 있다. 제2 개체(나무의 표면)를 촬영한 후 제1 개체를 삽입한 방식과 같은 방식으로 제2 개체의 아이콘을 메인 이미지의 나무에 해당하는 위치로 드래그 한 뒤 터치 입력을 종료한다. 마지막으로 저장 버튼을 누름으로써 두 개의 개체(제1개체, 제2개체)가 삽입된 개체 삽입 이미지를 생성할 수 있다. 이와 같은 방법으로 생성된 개체 삽입 이미지는 모바일 디바이스의 이미지 뷰어 애플리케이션 등으로 볼 수 있으며, 개체 삽입 이미지의 삽입된 개체 영역을 선택하면, 해당 개체를 모바일 디바이스의 화면에 디스플레이 또는 (개체가 동영상 또는 오디오 파일인 경우에) 재생할 수 있다.
도 2는 본 발명의 일 실시예에 따라 개체를 메인 이미지에 삽입하는 방법을 나타낸다. 도 2를 참조하면, 사용자는 모바일 디바이스의 촬영 모듈을 구동하여 촬영 모드로 진입한다. 피사체가 자동차인 경우, 사용자는 일차적으로 자동차의 전체적인 외관을 촬영한다. 촬영된 이미지는 메인 이미지로서 저장된다. 이 저장 과정은 사용자 입력에 의해 이루어지거나, 촬영 모드를 구현하는 애플리케이션 상에서 자동으로 이루어질 수 있다(단계 201).
메인 이미지가 결정된 후에 사용자는 차량의 각 구성요소 별 세부 사진을 촬영할 수 있다. 촬영된 사진은 메인 이미지에 삽입되는 개체로서 이용될 수 있다. 개체 사진의 촬영 시 촬영 모드는 자동으로 줌인 모드로 전환될 수 있다. 예를 들어, 메인 이미지의 촬영 후 메인 이미지가 저장되면, 모바일 디바이스의 제어부는 촬영 모듈로 하여금 자동으로 미리 정의된 배율만큼 줌인하도록 할 수 있다. 또는 사용자가 임의로 카메라를 줌인하여 세부 사진을 촬영할 수도 있다. 전술한 두 가지 방법을 조합, 즉 촬영 모듈이 자동으로 카메라를 줌인하고, 사용자가 줌인 비율을 세부 조정하는 것도 역시 가능하다. 이제 사용자는 피사체의 각 구성요소를 확대한 사진, 즉 개체 이미지(헤드라이트 부분)를 촬영할 수 있다(단계 202).
촬영된 개체의 이미지는 모바일 디바이스의 화면에 디스플레이 될 수 있다. 사용자가 디스플레이 된 개체의 이미지를 터치하고 유지하면 개체의 이미지에 대한 편집 메뉴가 디스플레이 된다(단계 203). 이 메뉴는 메인 이미지에 개체를 붙이는 작업(본 명세서에서는 "디테일링(detailing)"이라고 한다.), 네트워크를 통해 모바일 디바이스 외부로 전송하는 작업, 해당 개체에 대해 메모를 기록하는 작업 등을 포함할 수 있다. 터치 상태를 유지한 상태에서 터치 지점을 소정의 메뉴, 예를 들어 디테일(detail) 메뉴의 위치로 드래그하면, 개체의 이미지는 변경된 터치 지점에 아이콘 형태로 축소 또는 변경되어 표시되고, 모바일 디바이스 화면에 디스플레이 되는 이미지는 개체 이미지에서 메인 이미지로 변경된다(단계 204).
만약 촬영된 개체가 동영상인 경우에, 동영상 촬영이 완료되면, 동영상의 프리뷰 이미지, 동영상의 첫 프레임 이미지와 같은 동영상과 관련된 임의의 이미지가 모바일 디바이스의 화면에 디스플레이된다. 사용자가 임의의 이미지에 터치 입력을 시작한 시점부터의 프로세스는 전술한 일반적인 이미지에서의 프로세스와 동일하므로 설명을 생략한다. 이미 촬영되어 저장된 사진 및 동영상의 경우에는 갤러리로부터 썸네일 또는 해당 사진을 화면에 불러온 상태에서 상기한 방법으로 디테일링하는 것이 가능하다.
이후에 사용자는 아이콘을 원하는 위치로 드래그한다(단계 205). 본 예시에서, 개체 이미지는 확대된 자동차 헤드라이트 근처의 사진이므로, 사용자는 개체 아이콘을 메인 이미지의 헤드라이트 부근으로 이동시킬 수 있다. 이동이 완료된 뒤에, 터치 입력을 종료하면(즉, 터치 기반 디스플레이에서 손을 떼면), 해당 지점에 개체가 삽입되었다는 표시와 함께 메인 이미지에 개체가 삽입된다(단계 206). 사용자는 이 개체 삽입 이미지를 저장함으로써 최종적으로 개체 삽입 이미지를 생성할 수 있다.
이와 같은 방법의 가장 큰 특징은, 위치 결정 작업이 한번의 입력(즉, 스마트폰과 같은 터치 기반 모바일 디바이스의 경우 화면을 한번 누르고 떼는 동작)으로 이루어지기 때문에, 연속적으로 피사체를 촬영하면서 개체를 붙이는 경우 촬영과 촬영 사이의 간섭을 최소화 하는 효과가 있다(복수개의 개체를 메인 이미지에 삽입하는 방법은 후술함). 개체가 사진 또는 동영상인 경우 메인 이미지의 선택하는 과정과 선택된 메인 이미지가 로딩되는 작업이 자동으로 이루어질 수 있기 때문에, 이와 같은 원터치 작업이 가능하다.
또한, 이와 같은 개체 삽입 이미지는 모바일 디바이스의 통신모듈을 통해 SNS(Social Network Services), 블로그(blog), 웹페이지(web page) 등으로 전송되는 것이 가능하며, 컴퓨팅 디바이스 상에서 프리젠테이션 소프트웨어, 문서 작성 소프트웨어, 또는 iBook Auther와 같은 전자책(e-book) 작성 소프트웨어와 같은 애플리케이션에서도 사용될 수 있다. 즉, 이와 같은 개체 삽입 이미지를 지원하는 애플리케이션에서 개체 삽입 이미지가 로딩되고, 개체가 삽입된 것으로 표시된 부분(예를 들어, 반투명한 원형 포인트, 숫자 등의 마킹(marking), 썸네일(thumbnail))이 터치 입력 등으로 선택되면, 해당 개체의 원본 컨텐츠가 디스플레이/재생될 수 있다. 또한 원본 컨텐츠의 디스플레이/재생 중에 미리 정의된 입력을 통해 다시 개체 삽입 이미지의 디스플레이로 복귀하는 것 역시 가능하며, 원본 저작자에 의해 편집이 허가된 경우에는 다른 사용자로부터 전송받은 사진 또는 웹(web) 상에 업로드된 사진에 제3자가 개체를 삽입하는 것이 가능하다..
전술한 방법은 메인 이미지에 삽입될 개체를 결정(생성 완료)하고 나서, 개체가 삽입될 위치를 결정하는 방법을 나타낸다. 그러나 개체가 문자 또는 음성녹음과 같은 오디오 파일인 경우에, 이와 같은 순서로 개체 삽입 이미지를 생성하는 것은 적절하지 않을 수 있다. 이하에서는 도 3을 참조하여 개체가 삽입될 위치를 우선 결정하고, 그 후에 삽입될 개체의 내용을 결정하는 방법을 설명한다.
도 3은 메인 이미지에 개체가 삽입될 위치를 결정하고 나서 개체의 내용을 입력하는 방법을 나타낸다. 우선 메인 이미지를 결정한다(단계 301). 메인 이미지는 모바일 디바이스의 저장부에 저장된 사진으로부터 선택될 수 있다. 또한 촬영 모듈을 통해 촬영되는 사진이 메인 이미지로 결정될 수 있다. 후술하겠지만, 메인 이미지는 미리 정의된 조건에 따라 모바일 디바이스의 제어 모듈에 의해 자동으로 결정될 수도 있다.
사용자가 메인 이미지의 일부분을 터치한다(단계 302). 본 명세서에서, 모바일 디바이스의 화면에 디스플레이 된 이미지가 메인 이미지인지 개체 이미지인지 여부에 관계없이, 디스플레이 된 이미지의 일부를 선택함으로써 메인 또는 개체 이미지에 관한 메뉴를 불러올 수 있다. 메뉴는 다른 방법으로도 로딩될 수 있는데, 예를 들면 디바이스 상에 미리 정의된 버튼이 선택되거나, 미리 정의된 제스처의 입력에 의해서도 로딩 가능하다.
터치 입력이 수신되면 메인 이미지에 관련된 메뉴가 디스플레이 된다(단계 303). 예를 들어, 메뉴 "입력, Detail, 링크, 전송"이 디스플레이 되면, 사용자는 터치 입력을 유지한 상태에서 "입력"이 디스플레이 된 위치로 터치 지점을 이동시킬 수 있다. 사용자가 "입력" 메뉴 위에서 터치 상태를 일정 시간동안 유지(단계 304)하면 "문자, 녹음"과 같이 개체 생성 메뉴가 디스플레이 될 수 있다. 이제 사용자가 원하는 메뉴(예를 들어, "문자" 메뉴)를 통과하도록 메인 이미지 상에 개체를 삽입하고자 하는 위치로 터치 지점을 드래그 한 후에 터치 입력을 종료한다(단계 305). 터치 입력이 종료된 시점에서 이벤트가 발생하여 자동으로 문자 입력을 위한 인터페이스(예를 들어, 가상 키보드)가 제공(전술한 과정에서 사용자가 원하는 메뉴가 "녹음"인 경우, 음성 녹음을 위한 인터페이스가 제공)되며, 개체 내용 입력을 통해(단계 306) 개체 생성이 완료되면(즉, 문자 입력이 완료되면) 해당 지점에 문자 개체가 삽입된 개체 삽입 이미지가 생성된다(단계 307).
도 4는 본 발명의 다른 실시예에 따른 개체 삽입 이미지의 생성 방법을 나타낸다. 도 4에 도시된 방법에 의하여 사용자는 메뉴를 디스플레이 하는 단계를 생략(bypass)하면서 개체 삽입 이미지를 생성할 수 있다.
메인 이미지에 삽입될 개체 이미지가 결정된 상태(예를 들어, 도 2의 단계 202까지 진행된 상태)에서, 사용자는 디스플레이 된 개체 이미지를 터치하여 메뉴가 디스플레이 되면 해당 메뉴로 터치 지점을 이동시키는 작업(즉, 단계 203의 작업)을 수행하는 대신, 개체 이미지를 터치하면서 연속적으로 미리 정의된 제스처를 입력(드래그)함으로써 메뉴 디스플레이 없이 바로 개체의 아이콘을 메인 이미지의 원하는 지점에 위치시키는 단계로 진행할 수 있다. 예를 들어, 도 4의 개체 이미지의 촬영이 완료된 시점(단계 202)에서, 사용자는 개체 이미지를 터치하면서 바로 터치 입력을 위/아래로 움직인다(up and down)(단계 403). 그러면 모바일 디바이스의 화면에는 메인 이미지가 디스플레이 됨과 동시에 개체 이미지가 아이콘으로 변경되어 최종 터지 지점에 위치한다(단계 404). 이제 사용자는 아이콘을 원하는 지점으로 이동시키고 터치 입력을 종료(단계 205)함으로써 개체 삽입 이미지를 생성할 수 있다. 물론, 제스처의 형태는 다양하게 정의될 수 있다. 예를 들어 아래/위(down and up) 또는 3중 터치(triple touch) 등의 입력에 의해 바이패스(bypass) 기능을 구현할 수 있다. 각기 다른 바이패스(bypass)의 정의들은 문자입력, 음성녹음, 전송 등과 같은 각각의 명령을 수행하도록 지정하는 것이 가능하다.
이와 같은 작업은 반복 수행될 수 있다. 즉, 사용자는 전술한 과정에 의해 제1 개체가 메인 이미지에 삽입된 후, 제2 개체를 촬영하고, 촬영된 제2 개체가 디스플레이되면 동일한 제스처(up and down)를 입력할 수 있다. 제스처 입력 후에 생성된 아이콘을 원하는 지점에 위치시킨 후 터치 입력을 종료한다. 이와 같은 과정을 반복 수행함으로써, 복수개의 개체가 삽입된 이미지를 생성할 수 있다.
복수개의 개체가 삽입된 이미지를 생성하는 다른 방법을 설명하기에 앞서서, 모바일 디바이스의 화면 구성에 대해서 설명한다. 도 5는 모바일 디바이스 화면의 영역 구분 및 영역 사용 예시를 나타낸다. 도 5를 참조하면 본 명세서의 설명에 사용되는 모바일 디바이스의 화면은 크게 네 가지 영역으로 구분될 수 있다. 이미지가 디스플레이 되는 제1영역(501, display area), 개체 아이콘이 임시로 표시되는 제2영역(502, stacking area), 모바일 디바이스의 화면 전체 영역을 지시하는 제3영역(503, full screen area), 및 갤러리를 불러오거나(510) 개체(디테일)를 삭제(520)할 때 사용되는 제4영역(504, Gallery and trash area)이 그것이다. 상기의 영역들은 다른 영역과 일부 또는 전부가 중복될 수 있다. 예를 들어, 도시된 예시에서 제2영역(502)은 제1영역(501) 내부의 좌측 상단 일부 영역을 차지하는 것으로 도시되었으나, 우측, 혹은 상/하단에 위치할 수도 있으며, 나아가 제1영역(501) 외부에 위치하는 제3영역(503)의 일부 영역에 위치할 수도 있다. 또한, 편집중인 메인/개체는 제1영역(501)에 표시되지만, 개체 삽입 이미지에서 개체가 선택되어 컨텐츠가 디스플레이/재생 될 때는 제3영역(503) 전체를 이용하여 실행될 수 있다. 또한, 제4영역(504)은 디바이스의 스크린 외부의 영역까지 포함하는 것처럼 도시되어 있으나, 이는 제4영역(504)을 이용하는 제스처 또는 터치 입력이 통상적으로 스크린의 내부에서 외부로, 또는 그 반대인 외부에서 내부로 개체 등을 이동시키는 동작일 수 있기 때문에 이해를 용이하게 하기 위한 목적으로 가상의 영역을 도시한 것이다.
이제 도 6을 참조하여 복수개의 개체를 메인 이미지에 삽입하는 방법을 설명한다. 도 6은 개체를 한쪽 화면에 쌓아두는(stacking) 방법을 나타낸다. 이 "쌓기 기능(stacking)"은 아이콘 등과 같이 작아진 형태의 개체를 메인 이미지에 삽입하지 않고 화면의 일부(우측 또는 좌측) 영역에 끼워두는 기능을 의미한다. 끼워진 개체(stacked object)는 메인 화면, 즉 제1영역(501)으로부터 독립되어 항상 화면의 맨 위(즉, 최 상위 레이어)에 표시된다. 즉, 제1영역(501)에 디스플레이 되는 화면이 카메라 또는 이미지 갤러리와 같은 다른 화면으로 전환되어도, 개체 삽입 이미지 생성 및 편집 과정이 종료되지 않는 한, 제2영역(502)에 끼워진 개체는 항상 화면의 맨 위에 디스플레이 된다.
이와 같은 기능은 개체를 제2영역(502)에 쌓는 작업을 반복할 수 있도록 함으로써, 개체 이미지를 촬영하는 작업과 개체를 메인 이미지에 삽입하는 작업을 구분하여 실행할 수 있도록 한다. 또한, 미리 정의된 제스처(예를 들어, 제1영역이나 제4영역의 바깥쪽부터 제3영역을 지나 제2영역으로 드래그)를 입력함으로써 모바일 디바이스에 저장된 이미지(예를 들어, 이미지 갤러리)를 로딩할 수 있다. 이를 통해 메인 이미지에, 현재 촬영되는 이미지와 기존에 저장되어 있던 이미지를 선택하여 삽입하는 것이 가능해진다. 나아가 촬영한 객체 1, 2, 3을 제2영역(502)에 쌓아 둔 후, 이미지 갤러리를 열어 제1 메인 이미지를 로딩하여 개체 1, 2를 삽입하여 저장하고, 다시 제2 메인 이미지를 로딩하여 개체 3을 삽입하여 저장하는 방식의 작업도 가능하다. 개체 스태킹(stacking) 기능은 사용자로 하여금 개체 삽입 이미지 생성 작업의 순서, 방식, 및 메인 이미지의 변경을 가능하게 한다. 메인 이미지를 변경하는 방법은 도 9와 관련하여 자세하게 후술한다.
도 2에서 설명한 단계 204에서, 사용자는 아이콘을 제2영역(502)으로 이동시킨다(단계 605). 이제 사용자가 모바일 디바이스의 화면에서 손을 떼면(터치 입력 종료) 아이콘은 제2영역(502)에 스태킹된다. 사용자는 추가적으로 타이어 휠 사진을 촬영하여 제2영역(502)으로 이동시킬 수 있다(단계 606). 이와 같은 작업을 반복하여 사용자는 제2영역(502)에 복수개의 아이콘을 쌓아둘 수 있다. 이제 쌓아진 아이콘 중 하나를 선택(터치 입력 시작)하여(단계 607) 원하는 위치로 드래그 한 뒤 손을 떼면(터치 입력 종료) 해당 아이콘에 대응되는 개체가 메인 이미지에 삽입된다. 그 후 사용자는 스태킹 되어 있는 다른 아이콘을 선택하여 원하는 위치로 드래그 함으로써, 복수개의 개체를 메인 이미지에 삽입할 수 있다(단계 608).
도 7은 메인 이미지에 개체 이미지를 삽입하여 개체 삽입 이미지를 생성하는 흐름도를 나타낸다. 도 7을 참조하면, 단계 701에서 모바일 디바이스의 제어부는 사용자로부터 입력된 촬영 신호에 따라 피사체를 촬영하고 이를 제1 이미지로서 저장부에 저장한다. 사용자의 입력 신호는 터치-기반 입력일 수도 있고, 물리적인 키/버튼을 이용한 입력일 수 있다. 상기 저장된 제1 이미지는, 어떠한 개체도 삽입되어 있지 않은 이미지로서, 메인 이미지로 결정될 수 있다. 단계 702에서 사용자 입력 신호에 따라 제2 이미지가 촬영된다. 단계 703에서 모바일 디바이스는 제2 이미지의 일부분에 대한 터치 입력 신호를 수신하면, 단계 704에서 제2 이미지에 적용 가능한 메뉴를 디스플레이 할 수 있다. 이 메뉴는 입력이 발생한 즉시 디스플레이 되거나, 또는 터치 입력이 일정 시간 동안 지속된 경우에 디스플레이 될 수 있다.
단계 705에서 메뉴가 선택되면 제1 이미지 위에 제2 이미지의 아이콘이 오버레이 된다. 단계 705를 자세히 설명하면 다음과 같다. 사용자는 단계 703에서 입력한 터치 입력을 계속 유지한다. 메뉴가 디스플레이 되면 사용자는 터치 입력을 유지한 상태로 드래그하여 메뉴(예를 들어, "Detail")의 위치로 터치 지점을 이동시킨다. 메뉴 위치로 터치 지점이 이동되면(또는 이동 후 일정 시간동안 해당 위치에서 터치 입력이 유지되면), 제1영역에 디스플레이 되고 있던 제2 이미지가 제1 이미지로 전환되면서, 제2 이미지는 아이콘 등의 형태로 변형되어 터치 지점에 위치하게 된다.
단계 706에서 제2 이미지의 아이콘이 드래그 된 뒤(즉, 터치 지점이 변경된 뒤) 터치 입력이 종료되면, 모바일 디바이스의 제어 모듈은 제1 이미지 상에서 터치 입력이 종료된 위치에 제2 이미지를 삽입한다. 삽입된 제2 이미지는 아이콘 또는 축소된 이미지 형태로 제1 이미지 상에 붙어 있을 수 있고, 숫자 또는 문자 등으로 단순히 삽입된 개체가 있다는 표시만 존재할 수도 있다. 나아가, 모바일 디바이스에 따라, 아무런 표시도 되지 않고 있다가 특정 입력이 수신되면 개체가 삽입되어 있다는 표시가 나타나도록 할 수도 있다.
단계 707에서 제어모듈은 제2 이미지가 삽입된 제1 이미지를 생성하여 저장부에 저장한다. 제어모듈은 터치 입력이 종료된 시점에 개체 삽입 이미지를 생성할 수도 있고, 터치 입력이 종료한 후 소정 시간 경과 후에 개체 삽입 이미지를 생성할 수도 있으며, 터치 입력이 종료한 후 사용자로부터 별도의 개체 삽입 이미지 생성 작업 종료를 나타내는 입력을 수신한 후에 개체 삽입 이미지를 최종적으로 생성할 수도 있다.
도 7에서는 도 1에서 설명한 것과 같이, 이미지를 촬영하면서 개체 삽입 이미지를 생성하는 방법에 대해서 설명하였다. 그러나 보다 일반적으로, 개체 삽입 이미지를 구성하는 컨텐츠는 반드시 이미지일 필요는 없으며, 촬영한 이미지만이 이용될 필요도 없다. 도 8에서는 메인 이미지와 개체를 결정하여 개체 삽입 이미지를 생성하는 방법을 설명한다.
도 8은 메인 이미지 및 개체를 결정한 후에 개체 삽입 이미지를 생성하는 흐름도를 나타낸다. 도 8을 참조하면, 단계 801에서 메인 이미지가 결정된다. 제어모듈은 통상 가장 최근에 촬영 또는 저장된 일반 사진, 즉 개체들이 붙어있지 않은 사진을 자동으로 메인 이미지로 결정한다. 결정된 메인 이미지는, 사용자에 의해 수동으로 메인 이미지가 다른 이미지로 대체되지 않는 한, 개체를 붙이는 작업이 모두 종료될 때까지 변경되지 않는다.
도 9는 메인 이미지가 결정되는 방법의 일 예시를 나타낸다. 도 9는 저장부에 저장된 이미지 갤러리(900)를 나타낼 수 있다. 좌측으로 갈수록 예전에 저장된 이미지라고 가정하자. 마킹된 이미지 1(901), 이미지 4(904), 및 이미지 8(908)은 일반적인 이미지이며, 마킹이 없는 이미지 2(902), 이미지 3(903), 이미지 5(905), 이미지 6(906), 및 이미지 7(907)은 개체로 사용되는 이미지를 나타낸다. 즉, 이미지 2(902) 및 이미지 3(903)은 이미지 1(901)을 메인 이미지로 인식하며, 이미지 5 내지 7(905, 906, 907)은 이미지 4(904)를 메인 이미지로 인식한다. 다른 방법으로, 이미지 갤러리 내에 개체가 삽입된 이미지와 개체가 삽입되지 않은 이미지가 혼재되어 있는 경우, 제어모듈은 개체가 삽입되지 않은 일반 이미지 중에서 가장 최근에 촬영/저장된 이미지를 메인 이미지로 미리 결정해 둘 수 있다.
다시 도 8을 참조하면, 단계 802에서 개체가 결정된다. 개체가 단순히 이미지로 제한되지 않음은 이미 전술한 바와 같다. 통상적으로 개체는 촬영 모듈에 의해 촬영된 이미지, 또는 동영상이거나 메인 이미지에 대하여 작성되는 문자, 음성녹음, URL 등일 수 있다. 저장부에 저장된 이미지, 동영상 등이 개체로서 선택될 수 있으며, 사용자 입력에 의해 문자, 음성녹음과 같은 개체가 작성될 수 있다. 단계 803에서 화면에 디스플레이 된 개체, 즉 이미지 또는 동영상의 프리뷰 등의 일부분을 선택하면, 단계 804에서 개체에 대한 메뉴가 디스플레이 된다. 단계 805에서 메뉴가 선택되면 메인 이미지 위에 개체의 아이콘이 반투명 등으로 겹쳐지게 되며, 단계 806에서 개체 아이콘을 원하는 위치로 드래그 한 뒤 터치 입력을 종료하면, 단계 807에서 개체 삽입 이미지가 생성된다. 이상의 설명에서, 전술한 내용과 중복되는 내용은 생략하였다.
도 8과 도 9를 참조하여 메인 이미지가 결정되는 과정을 다시 살펴보면, 사용자에 의해 이미지 1(901)이 촬영된 후 이미지 2(902)가 촬영된 경우, 이미지 2(902)를 개체로서 삽입하고자 하면 이미지 1(901)이 자동으로 메인 이미지로 결정된다. 이미지 2(902)를 이미지 1(901)에 삽입한 후에, 다시 이미지 3(903)을 촬영하고 개체로서 삽입하고자 하는 경우에, 제어모듈은 이미지 2(902)는 개체 이미지이기 때문에 배제하고 이미지 1(901)을 메인 이미지로 인식하여 화면(제1영역(501))에 디스플레이 한다. 이제 이미지 4(904)가 촬영되고, 이미지 4(904)에 대해 아무 작업을 수행하지 않고 이미지 5(905)를 촬영한 경우에, 사용자가 이미지 5(905)를 이미지 1(901)에 삽입하려고 의도했다 하더라도, 제어모듈은 이미지 4(904)가 개체로서 사용된 적이 없는 일반 이미지이기 때문에 이미지 4(904)를 메인 이미지로서 인식하여 화면에 디스플레이 하게 된다. 이와 같은 경우 디스플레이 된 메인 이미지의 변경이 요구된다.
또한 복수의 메인 이미지들은 제2영역의 하단에 썸네일의 형태로 고정되어 표시될 수 있다. 제2영역의 하단에 위치한 메인 이미지의 썸네일 중 하나에 대하여 일정시간동안 터치 입력이 유지되면, 해당 메인 이미지가 자동으로 제3영역에 전체 화면으로 표시된다. 이때의 터치 입력은 개체에 대한 터치 입력이 유지된 상태일 수 있다. 예를 들어, 터치 입력을 유지하고 있는 손가락에 개체가 붙어 있는 상태에서, 터치 입력을 하단에 위치한 메인 이미지의 썸네일 위로 이동시켜 일정시간 동안 유지하면, 메인 이미지는 전체화면으로 표시되고, 사용자는 손가락을 화면에서 떼지 않은 채로 원하는 위치로 움직여 개체를 삽입할 수 있다. 이와 같은 방법을 통해 갤러리 통하지 않고 다수의 개체를 무작위로 다수의 메인 이미지에 삽입하기 위해 원하는 메인 이미지를 불러오는 것이 가능하다.
이와 같은 경우, 스태킹 작업과 미리 정의된 제스처를 이용하여 메인 이미지를 변경할 수 있다. 이미지 5(905)를 영역2(502)에 쌓아둔 상태에서, 미리 정의된 제스처(예를 들어, 화면의 한쪽면 바깥으로부터 화면의 안쪽 방향으로 드래그, 또는 이미지 갤러리를 불러오는 버튼 입력)를 통해서 메인 이미지로 사용될 이미지를 검색하고 결정할 수 있다. 이때 제어모듈은 이미지 4(904)가 메인 이미지로 사용되지 않는 다는 것을 기억하고, 이미지 6(906)이 촬영된 경우에 다시 이미지 4(904)가 메인 이미지로 화면에 디스플레이 되는 것을 방지할 수 있다. 만약 이미지 4(904)에 대한 정보를 기억하지 않는다면, 이미지 6(906)이 촬영된 경우에 이미지 4(904)가 다시 메인 이미지로 디스플레이 되고, 사용자는 스태킹과 제스처 입력을 반복하여 메인 이미지를 변경하여야 한다. 이는 비효율적인 작업이다.
도 10은 개체가 삽입된 이미지에서 개체를 분리 또는 삭제하는 방법을 나타낸다. 예시 1010에서, 개체 삽입 이미지에는 개체 1(1011) 및 개체 2(1012)가 포함되어 있다. 개체 2(1012)를 분리 또는 삭제하고자 하는 경우, 사용자는 미리 정의된 제스처를 삽입된 개체에 가하는 방법으로 분리 또는 삭제할 수 있다. 예를 들어, 삽입된 개체를 일정 횟수만큼 통과하도록 터치 입력을 제공하면, (1) 소정 횟수 통과 후(예를 들어, 실선 표시된 화살표와 같이 3회의 통과)부터는 개체가 메인 이미지로부터 분리(1022)되어 터치 지점을 따라서 이동할 수 있다(1020). 이렇게 분리된 개체는 제2영역(502)에 스태킹 되거나 또는 추가적인 입력(예를 들어, 아이콘이 위치하면 해당 아이콘을 삭제하는 제4영역으로 개체 아이콘을 안에서 바깥으로 드래그하는 제스처)에 의해 삭제될 수 있다. 또 다른 예시로서, (2) 터치 입력이 삽입된 개체를 소정 횟수 이상 통과하면, 삽입된 개체는 메인 이미지에서 바로 삭제될 수 있다(1030). 이와 같이 개체를 지우는 입력은, 전술한 모든 프로세스의 어느 단계(단, 개체 아이콘이 생성된 이후의 단계)에서도 수행될 수 있으며, 사진 또는 동영상의 경우 개체(아이콘)를 삭제하더라도 개체의 원본 파일은 삭제되지 않을 수 있다.
도 11은 본 발명의 일 실시예를 구현하기 위한 모바일 디바이스를 나타낸다. 모바일 디바이스(1)는 제어모듈(2), 촬영모듈(3), 통신모듈(4), 저장부(5), 화면(6), 디스플레이모듈(7)을 포함할 수 있다. 이와 같은 구성은 예시적인 것이며, 당업자가 구현하기에 따라 일반적인 구성요소들이 추가 또는 삭제될 수 있다. 예를 들어, 촬영된 이미지 또는 동영상만을 이용하여 개체 삽입 이미지를 생성/편집하는 경우에, 통신모듈(4)의 구성요소는 삭제될 수 있다.
제어모듈(2)은 CPU 등의 프로세서 일 수 있다. 제어모듈(2)은 모바일 디바이스(1)의 전체적인 작동을 제어하며, 개체삽입 이미지의 생성 및 편집에 있어서, 일종의 편집모듈로서 기능할 수 있다. 또한 제어모듈(2)은 저장부(5)와 별도로 자체적인 메모리를 포함할 수 있다.
촬영모듈(3)은 일반적으로 모바일 컴퓨팅 디바이스에 장착된 카메라를 구동하기 위해 이용된다. 촬영모듈(3)은 하나 이상의 카메라(예를 들어, 전면 및 후면 카메라)를 구동할 수 있다. 촬영모듈(3)은 제어모듈(2)과 연관되어, 이미지의 보정, 명도 및 채도의 조절, 파노라마 촬영 등의 기능을 수행할 수 있다.
통신모듈(4)은 데이터의 송수신을 처리한다. 또한 개체 삽입 이미지의 생성 및 편집에 필요한 데이터를 수신하거나, 생성된 개체 삽입 이미지를 외부 디바이스 또는 외부 네트워크로 전송할 수 있다. 통신모듈(4)은 LAN, Intranet과 같은 유선 연결뿐만 아니라, Wi-Fi, Bluetooth, NFC와 같은 무선연결을 구축하고 유지할 수 있다. 나아가, PSTN(public switched telephone network), 3G, 4G, LTE, 또는 WAN(Wide Area Network)와 같은 전화 통신망의 연결을 구축하고 유지할 수도 있다.
저장부(5)는 이미지 및 객체를 저장한다. 저장부(5)는 제2영역(502)에 스태킹 되는 개체들의 임시 저장도 처리할 수 있다. 모바일 디바이스(1)가 클라우드 컴퓨팅(cloud computing) 기반의 제로 클라이언트 단말(zero client terminal, 또는 thin client terminal)인 경우에, 저장부(5)는 모바일 디바이스(1)의 구성요소에서 생략될 수 있다(이 경우, 클라우드 서버의 저장부에 데이터가 저장된다).
화면(6)에는 이미지, 동영상, 텍스트 등이 디스플레이 된다. 화면(6)은 터치 입력을 수신할 수 있다. 화면(6)이 수신할 수 있는 터치 입력에는, 손가락 등이 직접적으로 화면을 터치하여 발생되는 전기적 신호를 인식하도록 하는 정전식 터치, 손가락, 펜 등이 화면일 직접 누름으로써 발생되는 압력을 인식하도록 하는 감압식 터치, 또는 특정한 펜의 경우에 화면(6)에 직집적으로 닿지 않아도, 일정 거리 이하의 근거리 내에 위치하면 펜과 연관된 광 신호 또는 전기적 신호를 인식하여 이벤트가 발생하도록 하는 비-접촉식 터치 입력 및 카메라 및 근육의 전기신호를 감지를 통하여 이루어지는 제스처를 통한 제어 등이 있을 수 있다. 본 명세서에서 터치 입력은 전술한 모든 터치 입력으로 해석될 수 있다.
디스플레이 모듈(7)은 전술한 터치 입력을 수신하여 처리하고, 컨텐츠의 디스플레이에 필요한 작업을 수행한다. 디스플레이 모듈(7)은 제어모듈(2)에 통합되어 상기의 작업을 처리할 수 있다.
도시하지는 않았지만, 음성녹음 및 출력을 위한 스피커 및 마이크로폰, 특정 입력을 위한 물리 버튼, 키보드/키패드 연결을 통해 키 입력을 수신할 수 있도록 하는 연결 잭 등이 모바일 디바이스(1)에 포함될 수 있다.
이와 같은 모바일 디바이스(1)는 개체 삽입 이미지를 생성할 수 있다. 구체적으로, 제어모듈(2)은 메인 이미지를 결정하고 개체 삽입 이미지를 생성 및 편집할 수 있다. 디스플레이 모듈(7)은 화면(6)에 개체를 디스플레이한다. 이 개체는 저장부(5)에 저장된 이미지 또는 동영상 등이거나 촬영모듈(3)에 의해 촬영된 이미지, 또는 동영상의 프리뷰일 수 있다. 제어모듈(2)은 디스플레이된 개체 대한 사용자 입력이 수신되면(터치 시작) 디스플레이 모듈(7)로 하여금 개체에 대한 메뉴를 디스플레이하도록 한다. 디스플레이된 메뉴에 대한 사용자 입력이 수신되면(터치 유지), 제어모듈(2)은 디스플레이 모듈(7)로 하여금 메인 이미지를 디스플레이하고 개체를 아이콘화 하여 메인 이미지 위에 오버레이로 디스플레이하도록 한다. 개체 아이콘을 메인 이미지의 원하는 위치로 이동시키는 사용자 입력이 수신 및 종료(터치 종료)되면, 제어모듈(2)은 해당 위치에 개체가 삽입된 개체 삽입 이미지를 생성한 후 저장부(5)에 저장하거나, 통신모듈(4)을 통해 외부 디바이스 또는 외부 네트워크로 전송할 수 있다.
상술한 방법 및 장치에 대하여, 다양한 변형례 또는 추가적인 실시예가 가능하다. 일 예시로서, 개체 삽입 이미지는 깊이(depth)를 가질 수 있다. 메인 이미지에 삽입된 이미지 개체가, 다른 이미지 개체(제2이미지)가 삽입되어 있는 이미지 개체인 경우에, 메인 이미지는 1의 깊이를 갖는 것으로 정의할 수 있다. 만약 상기의 다른 이미지 개체(제2이미지)도 추가적인 이미지 개체(제3이미지)를 갖는 경우에, 메인 이미지는 2의 깊이를 갖는 것으로 정의할 수 있다. 예를 들어, 자동차 전체를 보여주는 메인 이미지에 개체 이미지로서 자동차 헤드라이트 사진(제1이미지)이 삽입되고, 이 자동차 헤드라이트 사진(제1이미지)에 헤드라이트 램프부의 설계도(제2이미지)가 개체로 붙는 경우, 이 개체 삽입 이미지는 1의 깊이를 갖는다. 추가적으로, 설계도(제2이미지)의 필라멘트 부분에 필라멘트 사진(제3이미지)이 또 다시 개체로서 붙게되면, 이 개체 삽입 이미지는 2의 깊이를 갖는다. 깊이를 포함하는 개체와 메인 이미지는 아이콘 또는 썸네일 등에 그 깊이를 숫자로 표현할 수 있다.
개체 이미지에 추가적으로 개체를 삽입하는 방법은 다음과 같은 방식으로 구현될 수 있다. 메인 이미지에 적어도 하나의 개체(제1이미지)가 삽입된 상태에서, 추가하고자 하는 개체(제2이미지)를 이미 삽입되어 있는 하나의 개체 위에 겹치도록 이동시켜서 일정시간 대기한다. 이제 메인 이미지에 삽입된 하나의 개체(제1이미지)가 화면(예를 들어, 제1영역(501))에 디스플레이되면, 터치 입력을 유지한 상태로 추가하고자 하는 개체(제2이미지)를 이미 삽입된 개체(제1이미지)의 원하는 위치로 이동시킨 후, 터치 입력을 종료한다.
삽입될 개체의 위치를 결정하는 과정에서 제스처에 의한 메인 이미지의 확대 또는 축소가 가능할 수 있다. 예를 들어, 개체(또는 개체의 아이콘)에 터치 입력이 유지된 상태에서 오른쪽으로 원을 그리는 형태로 아이콘에 대한 터치 입력을 드래그 하면 메인 이미지가 확대될 수 있다. 반대로 왼쪽으로 원을 그리는 형태로 드래그 하면 메인 이미지가 축소될 수 있다. 이와 같은 확대/축소는 화면에서 터치 입력을 종료하게 되면(손가락을 떼게 되면) 개체가 메인 이미지에 삽입되기 때문에 요구된다. 그러나 만약 전술한 바와 같이 개체 아이콘을 제2영역(502) 등에 쌓아 둔 상태에서는, 터치 입력이 일시적으로 종료된 상태이기 때문에, 핀치-투-줌이나 멀티 터치와 같은 방식으로 일반적인 줌 기능을 사용하는 것이 가능하다.
본 발명의 다른 실시예에 따르면, 3차원 구조를 가지는 대상의 전, 후, 좌, 우, 위, 아래의 메인 이미지 또는 개체 이미지가 서로의 연관성이 드러나도록 하나의 통합된 형태로 보여지게 할 수 있다. 도 12는 본 발명의 다른 실시예에 따른 면 쌓기 기능(dimensionizing function)을 나타낸다. 면 쌓기 기능은 입체 구조를 가지고 있는 대상을 다양한 방향에서 촬영한 사진을 원하는 각도로 이어 붙여 입체적인 클러스터(cluster) 구조를 만드는 것을 가능하게 한다.
도 12를 참조하면 메인 이미지(1201)에 포함된 특정 개체(1201-1)는 복수개의 면을 포함하는 구조를 가질 수 있다. 또한, 메인 이미지(1202) 자체가 면 쌓기 기능을 이용하여 형성된 다면 구조일 수 있다. 대상의 구조에 따라 면은 다양한 형태로 조합될 수 있는데, 예를 들어 실내 구조 같은 경우에는 천정(또는 바닥)을 중심으로 벽면을 이어 붙인 구조(1203)를, 여러 레이어를 포함하는 3차원 구조물인 경우에는 필요에 따라 같은(내지는 유사한 각도에서) 여러 번 촬영된 사진이 이어붙은 구조(1204)를, 또는 원형공간 또는 광장과 같은 경우에 세밀한 각도에서 촬영한 3차원 구조의 면 쌓기를 한 것과 같은 구조(1205)로 나타낼 수 있다. 각각의 면에는 디테일링(detailing) 기능을 이용하여 개체 사진을 붙이는 것이 가능하다.
개체 삽입 이미지(object-embedded image) 또는 개체들이 붙어있는 사진(detailed picture)의 관람(viewing)은 수동모드 또는 자동모드로 가능하다. 양쪽 모두 일반적으로 개체가 주체 사진에 아이콘으로 붙어 있는 형태를 지원하지만, 슬라이드 형태, 개체들의 관계구조(relationship diagram) 형태, 또는 주체사진을 타일과 같이 둘러싼 표현 형태(display mode)를 지원할 수 있다. 참고로, 수동모드는 개체들이 붙어 있는 사진의 표현 형태에서 각각의 개체를 선택하여 개체의 원본을 관람하는 모드를 나타내며, 자동모드는 개체가 그 삽입 순서에 따라 자동으로 보여지는 모드를 나타낸다. 자동모드는 수동모드와 달리 슬라이드 쇼 형태의 관람이 가능하다.
본 발명은 페이스북, 트위터와 같은 SNS, 카카오톡, 라인(line) 등과 같은 모바일 메신저에서 활용될 수 있다. 또한 인터넷 쇼핑몰 등에서 상품 소개 사진의 작성에도 활용될 수 있으며, 사진 자료를 요구하는 건설, 지점 감사 등의 실시간 보고 솔루션으로 활용될 수도 있다. 나아가 개인적으로는, 개인의 사진 정리 및 프리젠테이션 사진 자료의 작성으로도 활용될 수 있다. 또한 과학 조사의 현장 자료 수집이나 홈페이지/블로그의 제작 도구와 같이 매우 다양한 분야에서 활용될 수 있다.
이상, 본 발명에서 개시된 블록도들은 본 발명의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.
본 명세서에서 본 발명의 원리들의 '일 실시예'와 이런 표현의 다양한 변형들의 지칭은 이 실시예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 모바일 디바이스에서 개체 삽입 이미지를 생성 및 편집하는 방법에 있어서,
    상기 모바일 디바이스의 제어모듈에 의해 메인 이미지가 결정되는 단계;
    사용자로부터 개체를 결정하는 입력을 수신하는 단계;
    상기 결정된 개체가 상기 모바일 디바이스 화면의 제1영역에 디스플레이되는 단계;
    상기 디스플레이된 개체에 대한 터치 입력을 수신하는 단계;
    상기 터치 입력에 응답하여 상기 개체에 대한 메뉴가 상기 화면에 디스플레이되는 단계;
    상기 터치 입력이 지시하는 터치지점을 변경하는 제1 드래그 입력을 수신하는 단계;
    상기 제1 드래그 입력에 의해 상기 터치지점이 상기 메뉴에 위치하면, 상기 제1영역에 상기 메인 이미지를 디스플레이하고, 상기 터치지점에 상기 개체의 아이콘을 상기 메인 이미지에 오버레이(overlay)로 디스플레이 하는 단계;
    상기 아이콘을 상기 메인 이미지의 일 지점에 위치시키는 제2 드래그 입력을 수신하는 단계; 및
    상기 터치 입력이 종료되면, 상기 개체가 상기 메인 이미지의 일 지점에 삽입된 개체 삽입 이미지를 생성하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 개체는 이미지, 동영상, 문자, 음성녹음, 상기 모바일 디바이스에 저장된 파일의 링크, URL 중 적어도 하나를 포함하고,
    상기 개체 삽입 이미지에서 상기 개체가 삽입된 지점이 선택되면 상기 모바일 디바이스의 화면에 상기 개체가 디스플레이 또는 재생되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 개체 삽입 이미지에서 상기 개체가 삽입된 영역을 가로지르는 드래그 입력이 미리 결정된 횟수 이상 수신되면, 상기 개체 삽입 이미지에서 상기 삽입된 개체를 분리시키는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 메인 이미지가 결정되는 단계는, 상기 모바일 디바이스의 저장부에 저장된 이미지 중에서, 개체가 삽입되지 않은 이미지 중 가장 최근에 저장된 이미지를 상기 메인 이미지로 결정하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 제1영역에 상기 메인 이미지를 디스플레이하고, 상기 터치지점에 상기 개체의 아이콘을 상기 메인 이미지에 오버레이(overlay)로 디스플레이하는 단계는,
    상기 아이콘을 상기 화면의 제2영역으로 이동시키는 입력을 수신하는 단계;
    사용자로부터 적어도 하나의 추가 개체를 결정하는 입력을 수신하는 단계;
    상기 적어도 하나의 추가 개체의 아이콘을 상기 제2영역으로 이동시키는 입력을 수신하는 단계; 및
    상기 제2영역으로 이동된 아이콘을 상기 제2영역에 포함되지 않는 상기 제1영역으로 이동시키는 입력을 수신하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 제1영역에 상기 메인 이미지를 디스플레이하고, 상기 터치지점에 상기 개체의 아이콘을 상기 메인 이미지에 오버레이(overlay)로 디스플레이하는 단계는,
    상기 아이콘을 상기 제2영역으로 이동시키는 입력을 수신하는 단계;
    사용자로부터 상기 모바일 디바이스의 저장부에 저장된 이미지로부터 대체 이미지를 선택하는 입력을 수신하는 단계;
    상기 메인 이미지를 대체하는 이미지로서 상기 선택된 대체 이미지를 상기 제1영역에 디스플레이하는 단계; 및
    상기 제2영역으로 이동된 상기 아이콘을 선택하는 터치 입력을 수신하는 단계를 포함하는 방법.
  7. 제6항에 있어서,
    상기 대체 이미지는 개체가 미리 삽입되어 있는 개체 삽입 이미지인 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 제2 드래그 입력을 수신하는 단계는,
    상기 아이콘을 상기 대체 이미지에 삽입되어 있는 개체의 위치로 이동시키는 드래그 입력을 수신하는 단계;
    상기 드래그 입력이 상기 삽입되어 있는 개체의 위치에 미리 결정된 시간동안 유지되면, 상기 삽입되어 있는 개체를 제1영역에 디스플레이하는 단계; 및
    상기 아이콘을 상기 제1영역에 디스플레이 된 상기 삽입되어 있는 개체의 일 지점에 위치시키는 제3 드래그 입력을 수신하는 단계를 더 포함하는 방법.
  9. 제7항에 있어서,
    상기 제2 드래그 입력을 수신하는 단계는,
    터치 입력이 유지된 상태에서 제1방향으로 원을 그리는 드래그 입력에 따라 상기 메인 이미지를 확대하거나, 제2방향으로 원을 그리는 드래그 입력에 따라 상기 메인 이미지를 축소하는 단계;
    상기 아이콘을 상기 확대 또는 축소된 메인 이미지 상의 일 지점에 위치시키는 단계를 포함하는 방법.
  10. 개체 삽입 이미지를 생성 및 편집하기 위한 모바일 디바이스에 있어서,
    메인 이미지를 결정하고 개체 삽입 이미지를 생성 및 편집하는 제어모듈;
    메인 이미지 및 개체를 디스플레이하는 디스플레이 모듈; 및
    상기 메인 이미지, 상기 개체, 또는 상기 개체 삽입 이미지를 저장하기 위한 저장부를 포함하고,
    상기 제어모듈은 상기 사용자로부터 수신된 제1 사용자 입력에 기초하여 상기 디스플레이 모듈로 하여금 상기 개체에 대한 메뉴를 디스플레이하도록 하고,
    상기 메뉴에 대한 제2 사용자 입력에 기초하여 상기 디스플레이 모듈로 하여금 상기 메인 이미지의 디스플레이 위에 오버레이로 상기 개체에 대한 아이콘을 디스플레이하도록 하고,
    상기 아이콘을 상기 메인 이미지의 특정 위치로 이동시키는 제3 사용자 입력에 기초하여 상기 메인 이미지의 상기 특정 위치에 상기 개체가 삽입된 개체 삽입 이미지를 생성하도록 하는 것을 특징으로 하는 모바일 디바이스.
PCT/KR2014/002913 2013-04-04 2014-04-04 개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치 WO2014163422A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/781,911 US10061493B2 (en) 2013-04-04 2014-04-04 Method and device for creating and editing object-inserted images
EP14780204.5A EP2983078B1 (en) 2013-04-04 2014-04-04 Method and apparatus for creating and editing image into which object is inserted
JP2016510609A JP2016521418A (ja) 2013-04-04 2014-04-04 オブジェクトが挿入された画像を生成して編集する方法及びその装置
US15/858,745 US10824313B2 (en) 2013-04-04 2017-12-29 Method and device for creating and editing object-inserted images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0036683 2013-04-04
KR1020130036683A KR101501028B1 (ko) 2013-04-04 2013-04-04 개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/781,911 A-371-Of-International US10061493B2 (en) 2013-04-04 2014-04-04 Method and device for creating and editing object-inserted images
US15/858,745 Continuation-In-Part US10824313B2 (en) 2013-04-04 2017-12-29 Method and device for creating and editing object-inserted images

Publications (1)

Publication Number Publication Date
WO2014163422A1 true WO2014163422A1 (ko) 2014-10-09

Family

ID=51658642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/002913 WO2014163422A1 (ko) 2013-04-04 2014-04-04 개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치

Country Status (5)

Country Link
US (1) US10061493B2 (ko)
EP (1) EP2983078B1 (ko)
JP (1) JP2016521418A (ko)
KR (1) KR101501028B1 (ko)
WO (1) WO2014163422A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108114A (zh) * 2017-12-19 2018-06-01 维沃移动通信有限公司 一种缩略图显示控制方法及移动终端
JPWO2017038321A1 (ja) * 2015-09-03 2018-06-14 オリンパス株式会社 内視鏡装置及び内視鏡装置の表示変更制御方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316806A1 (en) * 2016-05-02 2017-11-02 Facebook, Inc. Systems and methods for presenting content
KR102498815B1 (ko) * 2016-07-21 2023-02-13 삼성전자주식회사 전자 장치 및 전자 장치의 비디오 편집 방법
CN108319484B (zh) * 2017-05-17 2021-07-09 腾讯科技（深圳）有限公司 一种应用页面的处理方法、装置及存储介质
KR102644097B1 (ko) * 2017-12-29 2024-03-06 주식회사 피제이팩토리 멀티 심도 이미지의 자동 변환 방법
KR102509976B1 (ko) 2017-12-29 2023-03-14 주식회사 피제이팩토리 이미지 패닝 방법
KR102644092B1 (ko) * 2017-12-29 2024-03-06 주식회사 피제이팩토리 멀티 심도 이미지 생성 방법
KR20200079849A (ko) * 2018-12-26 2020-07-06 주식회사 피제이팩토리 멀티 뎁스(multi-depth) 이미지 생성 및 뷰잉
US11887494B2 (en) 2019-06-07 2024-01-30 Enduvo, Inc. Generating a virtual reality learning environment
US11514806B2 (en) 2019-06-07 2022-11-29 Enduvo, Inc. Learning session comprehension
US20200388175A1 (en) 2019-06-07 2020-12-10 Enduvo, Inc. Creating a multi-disciplined learning tool

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100900295B1 (ko) * 2008-04-17 2009-05-29 엘지전자 주식회사 이동 디바이스와 이동 통신 시스템의 사용자 인터페이스방법
KR20100088248A (ko) * 2009-01-30 2010-08-09 엘지전자 주식회사 사용자 인터페이스 제어 방법 및 그를 이용한 이동 단말기
KR20120062297A (ko) * 2010-12-06 2012-06-14 삼성전자주식회사 디스플레이 장치 및 그 ｕｉ 제공 방법
KR20120107836A (ko) * 2011-03-22 2012-10-04 주식회사 아카북 사용자 단말에서 스티커 이미지 서비스 제공 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6070167A (en) 1997-09-29 2000-05-30 Sharp Laboratories Of America, Inc. Hierarchical method and system for object-based audiovisual descriptive tagging of images for information retrieval, editing, and manipulation
WO2001016694A1 (en) 1999-08-31 2001-03-08 Ububu, Inc. Automatic conversion between sets of text urls and cohesive scenes of visual urls
US8872843B2 (en) * 2004-07-02 2014-10-28 Samsung Electronics Co., Ltd. Method for editing images in a mobile terminal
KR101503835B1 (ko) * 2008-10-13 2015-03-18 삼성전자주식회사 멀티터치를 이용한 오브젝트 관리 방법 및 장치
WO2010109849A1 (ja) * 2009-03-23 2010-09-30 パナソニック株式会社 情報処理装置、情報処理方法、記録媒体、及び集積回路
US8539384B2 (en) * 2010-02-25 2013-09-17 Microsoft Corporation Multi-screen pinch and expand gestures
US9619108B2 (en) * 2011-01-14 2017-04-11 Adobe Systems Incorporated Computer-implemented systems and methods providing user interface features for editing multi-layer images
KR20130023954A (ko) * 2011-08-30 2013-03-08 삼성전자주식회사 휴대용 단말기에서 아이콘 편집 과정을 수행하기 위한 장치 및 방법
KR101935039B1 (ko) * 2012-09-11 2019-01-03 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100900295B1 (ko) * 2008-04-17 2009-05-29 엘지전자 주식회사 이동 디바이스와 이동 통신 시스템의 사용자 인터페이스방법
KR20100088248A (ko) * 2009-01-30 2010-08-09 엘지전자 주식회사 사용자 인터페이스 제어 방법 및 그를 이용한 이동 단말기
KR20120062297A (ko) * 2010-12-06 2012-06-14 삼성전자주식회사 디스플레이 장치 및 그 ｕｉ 제공 방법
KR20120107836A (ko) * 2011-03-22 2012-10-04 주식회사 아카북 사용자 단말에서 스티커 이미지 서비스 제공 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017038321A1 (ja) * 2015-09-03 2018-06-14 オリンパス株式会社 内視鏡装置及び内視鏡装置の表示変更制御方法
CN108108114A (zh) * 2017-12-19 2018-06-01 维沃移动通信有限公司 一种缩略图显示控制方法及移动终端

Also Published As

Publication number Publication date
KR20140120628A (ko) 2014-10-14
EP2983078A1 (en) 2016-02-10
EP2983078A4 (en) 2016-12-21
KR101501028B1 (ko) 2015-03-12
JP2016521418A (ja) 2016-07-21
EP2983078B1 (en) 2018-03-21
US10061493B2 (en) 2018-08-28
US20160117085A1 (en) 2016-04-28

Similar Documents

Publication Publication Date Title
WO2014163422A1 (ko) 개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치
JP6314975B2 (ja) 表示制御装置、表示制御方法および表示制御プログラム
JP6529267B2 (ja) 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
CN109684110A (zh) 多媒体资源分享方法、装置及存储介质
JP5214051B1 (ja) 画像処理装置および画像処理プログラム
US10824313B2 (en) Method and device for creating and editing object-inserted images
US20120137237A1 (en) System and method for digital image and video manipulation and transfer
US10939171B2 (en) Method, apparatus, and computer readable recording medium for automatic grouping and management of content in real-time
WO2021093623A1 (zh) 一种拼图方法、装置及终端设备
WO2018062901A1 (ko) 터치스크린 단말기에서 저장 사진의 앨범 지정 및 태깅 방법, 컴퓨터 판독 가능 기록매체 및 단말기
US10497079B2 (en) Electronic device and method for managing image
WO2018056587A1 (en) Electronic apparatus and controlling method thereof
JP5820237B2 (ja) コンテンツ管理システム、操作装置およびそれらの制御方法、プログラム
WO2021075878A1 (ko) 증강현실 기록물 서비스 제공 방법 및 사용자 단말
JP5513539B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
KR20090050420A (ko) 콘텐츠 표시 방법 및 장치
JP6566804B2 (ja) 電子機器、方法及びプログラム並びに記憶媒体
JP5677119B2 (ja) フォトブック作成装置及びその制御方法
JP5818634B2 (ja) コンテンツ管理装置、記録装置、操作装置、コンテンツ管理システムおよびそれらの制御方法
JP2017188154A (ja) 情報処理システム、端末装置、プログラム及び画像付与方法
JP6545307B2 (ja) 表示制御装置及び表示制御装置の制御方法
JP6172245B2 (ja) 情報処理システム、端末装置、プログラム及び画像付与方法
JP6150538B2 (ja) 動画記録装置及びその制御方法
KR20200127367A (ko) 이미지 관리 장치 및 방법
JP2008271043A (ja) 写真集作成装置、写真集作成方法、プログラム、及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14780204

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016510609

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2014780204

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14781911

Country of ref document: US