WO2019132565A1 - 멀티 심도 이미지 생성 방법 - Google Patents

멀티 심도 이미지 생성 방법 Download PDF

Info

Publication number
WO2019132565A1
WO2019132565A1 PCT/KR2018/016819 KR2018016819W WO2019132565A1 WO 2019132565 A1 WO2019132565 A1 WO 2019132565A1 KR 2018016819 W KR2018016819 W KR 2018016819W WO 2019132565 A1 WO2019132565 A1 WO 2019132565A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
main image
electronic device
main
screen
Prior art date
Application number
PCT/KR2018/016819
Other languages
English (en)
French (fr)
Inventor
박정환
Original Assignee
주식회사 피제이팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피제이팩토리 filed Critical 주식회사 피제이팩토리
Publication of WO2019132565A1 publication Critical patent/WO2019132565A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G01C19/02—Rotary gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to a method of generating an image in an electronic device such as a smart phone. Specifically, the present invention relates to a method for generating a multi-depth image in which another image is embedded in one image.
  • an image file When an image file is opened using an electronic device, detailed information or a magnified image of a specific part of the image file may be required. For example, in the case of a car image, a more detailed image of a specific part such as a headlight, a wheel, etc. may be required.
  • the screen In the case of portable electronic devices such as smart phones, the screen is small, so it is difficult to check the detailed image of a specific portion of the entire image.
  • a method of enlarging the image of the part can be used. However, since it is merely to increase the size of the pixel, satisfactory resolution can not be obtained. There is a problem that additional information can not be obtained.
  • &quot new image &quot
  • 'Multi-Depth Imagery' another image
  • This document discloses a definition of multi-depth images and a user interface for creating and editing multi-depth images.
  • the present invention relates to a method of generating a multi-depth image by a user conveniently by displaying an appropriate position at which an inserted image is to be inserted in a main image when an inserted image is selected.
  • a method of generating a multi-depth image in which an electronic device is inserted in a tree structure of one or more objects in a main image comprising: determining an object to be inserted into the main image; Searching for an area corresponding to the selected object in the main image, displaying the searched area in the main image on the screen of the electronic device, selecting a position to insert the selected object in the main image displayed on the screen, And inserting the selected entity at a selected location in the main image according to a user input.
  • a method of generating a multi-depth image in which an electronic device is inserted into a tree structure of one or more objects within a main image comprising: setting a reference position within the main image; Calculating a rotation direction and a rotation angle from the reference position to the photographed image when the image to be inserted in the main image is photographed, calculating a rotation direction and a rotation angle corresponding to the rotation direction and the rotation angle from the reference position, Displaying an area on the screen of the electronic device; receiving a user input for selecting a position to insert a selected object in the main image displayed on the screen; Inserting the selected entity into the selected location To provide the multi-field image generation method according to claim.
  • a user can quickly and conveniently create a multi-depth image by automatically displaying an appropriate position where an inserted image is to be inserted.
  • 1 is a conceptual diagram for explaining a multi-depth image.
  • FIG. 2 is a diagram illustrating a manner in which the multi-depth image of FIG. 1 is actually displayed on the screen in the image viewer.
  • FIG. 3 illustrates a main image which is difficult to display on one screen.
  • FIG. 4 illustrates a process of shooting an image for insertion into a main image.
  • FIG. 5 illustrates a process of displaying a portion of a main image by analyzing the similarity between the main image and the embedded image.
  • FIG. 6 illustrates a portion of the main image displayed through the similarity analysis.
  • FIG. 7 illustrates a process of inserting an embedded image into a main image.
  • Figure 8 illustrates the process of taking another image for insertion into the main image.
  • FIG. 9 illustrates a process of rotating the main image by rotating the rotation angle of the electronic device from the inserted position of the photographed image.
  • FIG. 10 illustrates a portion of a displayed main image rotated by an angle of rotation of an electronic device.
  • FIG. 11 illustrates a process of inserting an embedded image into a main image.
  • FIG. 12 is a flowchart illustrating a method of generating a multi-depth image according to the first embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating a method of generating a multi-depth image according to a second embodiment of the present invention.
  • the first, second, i), ii), a), b) and the like can be used.
  • Such a code is intended to distinguish the constituent element from another constituent element, but the nature of the constituent element, the order, the order, and the like are not limited by the code. It is to be understood that when a component is referred to as being “comprising” or “comprising,” it should be understood that this section does not exclude the presence of other components, And the like.
  • the term 'module' refers to a unit that processes at least one function or operation, and may be implemented as 'hardware', 'software', or 'combination of hardware and software'.
  • 1 is a conceptual diagram for explaining the structure of a multi-depth image.
  • FIG. 1 is a conceptual diagram illustrating a structure of a multi-depth image, not a screen in which a multi-depth image is actually displayed in the image viewer.
  • a multi-depth image is a structure in which a plurality of images are connected in a tree structure.
  • the topmost image in the tree structure is the main image.
  • the overall image of the car is illustrated as the main image.
  • Images other than the main image are embedded images.
  • the root contains the main image, and one or more embedded images are linked under the main image with parent, sibling, or child relationships to each other.
  • the main image has a depth of 0, and the embedded image directly inserted into the main image has a depth of one.
  • a 'headlight image' and an image (hereinafter referred to as a 'wheel image') in which an image of a vehicle is displayed (hereinafter, referred to as an 'entire vehicle image'
  • the headlight image and the wheel image have a depth of one.
  • inserted images inserted into the inserted image have a depth of two or more.
  • 'bulb image' an image in which a reflector is displayed
  • 'reflector image' an image in which a reflector is displayed
  • a headlight image having a depth of 1 for example, .
  • an image (hereinafter, referred to as a 'tire wheel image') and an image (hereinafter referred to as a 'tire image') in which a tire wheel is displayed can be inserted into a wheel image having a depth of 1, Has a depth of two.
  • Another image can be inserted into a bulb image, a reflector image, a tire wheel image, or a tire image, wherein the inserted image has a depth of three.
  • a plurality of images connected in a tree structure are stored as one file together with the attributes of connection relationships between the images to form a multi-depth image.
  • a headlight node and a wheel node are located under an automobile node
  • a light bulb node and a reflector node are located under the headlight node
  • a tire wheel node and a tire node are located under the wheel node.
  • the multi-depth image is an image format in which an object of a child node is inserted into an object of a parent node in the tree structure illustrated in FIG.
  • An object inserted when an object of a child node is inserted into an object of a parent node is generally an image.
  • various objects such as moving pictures, texts, voices, links to other files, Internet address links, bookmarks, and the like can be inserted as objects of the child nodes into the objects of the parent node.
  • the object of the parent node and the object of the child node are all images will be described as an example.
  • an image of a child node (hereinafter referred to as a 'child image') is displayed at a proper position of an image of the parent node So that a multi-depth image can be generated.
  • a method of inserting a child image at a proper position of a parent image a method of inserting a child image at a position where a feature of the child image is found in the parent image after comparing the parent image with the child image can be used.
  • FIG. 2 is a diagram illustrating a state where the multi-depth image of FIG. 1 is actually displayed on the screen in the image viewer.
  • all the images constituting the multi-depth image 200 for the car may be displayed on one screen, and the entire image 210 of the car,
  • the light image 220, the bulb image 221, the reflector image 222, the wheel image 230, the tire wheel image 231, or the tire image 232 may be displayed alone.
  • the inserted image can be displayed by clicking or touching an icon (an icon of the ⁇ shape in FIG. 2) indicating that another image is inserted.
  • a multi-depth image is created by inserting a headlight image 220 at a location where features similar to the headlight image 220 are found in the entire vehicle image 210,
  • a wheel image 230 is inserted at a position where a feature similar to the wheel image 230 is found and a bulb image 221 is inserted at a position where a feature similar to the bulb image 221 in the headlight image 220 is found
  • a reflector image 222 is inserted at a position where a feature similar to the reflector image 222 is found in the headlight image 220 and a feature similar to the tire wheel image 231 in the wheel image 230 is found It may be an image in which a tire image 232 is inserted at a position where a tire wheel image 231 is inserted and a feature similar to the tire image 232 in the wheel image 230 is found.
  • the child image should be inserted at the position where the feature of the child image is found in the parent image, but it is a multi-depth image if the child image is inserted at any position of the parent image.
  • the image of the root node is the 'main image', and all images except the main image are 'embedded images'.
  • the user interface for inserting an embedded image into the main image may be implemented as follows.
  • the user interface for inserting another inserted image into the inserted image can be implemented as follows.
  • the insertion image can be inserted into the main image by one-touch or one-click when creating and editing a multi-depth image.
  • the user interface simplifies the image inserting process in a state where the image inserting position is determined, and does not automatically determine the image inserting position.
  • An embodiment of the present invention provides a method of automatically determining a position at which an inserted image is inserted when inserting an inserted image into a multi-depth image.
  • the main image is a large image that is difficult to display on one screen, such as a 360-degree image or a panorama image
  • the similarity between the main image and the inserted image is compared, The user can easily insert the inserted image into the main image.
  • FIG. 3 illustrates a main image which is difficult to display on one screen.
  • An embodiment of the present invention can be applied when the main image is a large image that is difficult to display on one screen, such as a 360-degree image or a panorama image.
  • An embodiment of the present invention can be applied even if the main image is not a large image which is difficult to display on one screen, such as a 360-degree image or a panorama image.
  • the electronic device can receive a 360-degree image photographed by a 360-degree camera equipped with a wireless communication function via wireless communication.
  • the main image may be an image photographed on an electronic device.
  • long left and right photographs illustrate a 360-degree image captured in the room
  • rectangles, human face icons, rhombus, and triangles included in left and right long photographs illustrate persons or objects in a room.
  • the dotted line portion in Fig. 3 exemplifies an image displayed on the screen of the electronic device.
  • the entire 360-degree image is not displayed on the screen of the electronic device.
  • the entire image of the 360-degree image can be displayed on the screen of the electronic device.
  • the person or object in the room can not be identified at all, only a part of the 360- .
  • FIG. 4 illustrates a process of shooting an image for insertion into a main image.
  • the user can access a specific person or object to take a detailed picture again, and insert the detailed photographed picture into a 360-degree image which is the main image.
  • the 360-degree image is long in the lateral direction, it is not displayed on the screen in a normal use example, so that it is troublesome and inconvenient to find out where to insert the photographed image in the 360-degree image.
  • FIG. 5 illustrates a process of displaying a portion of a main image by analyzing the similarity between the main image and the embedded image.
  • the electronic device when generating a multi-depth image by inserting an embedded image into a main image using an electronic device, when the main image and the embedded image are determined, the electronic device analyzes the similarity between the main image and the embedded image And searches an area corresponding to the inserted image in the main image.
  • the electronic device displays a part of the main image so that the searched area of the main image is at the center of the screen, and the user inserts the inserted image with reference to the displayed main image.
  • the electronic device can find a region having a high degree of similarity to the inserted image in the main image, and then display the 360-degree image on the electronic device by rotating the 360-
  • the similarity analysis can be performed by extracting the feature points of the main image and the embedded image, and then analyzing the similarity through the feature point comparison.
  • the electronic device extracts the minutiae of the main image and the inserted image, determines a minutiae point region having characteristics similar to the minutiae point of the inserted image among the minutiae of the main image, and then rotates the main image so that the similar minutiae point region is at the center of the screen have.
  • the main image and the embedded image can be matched using the GPS information included in the photograph.
  • the main image is a 360-degree image that can be moved back and forth and left and right like Google Street View and the next view
  • each point in the main image has GPS information.
  • the electronic device uses the GPS information of the inserted image to judge at which point of the main image the inserted image should be inserted and enlarge the point in the main image .
  • images such as Google Street View and the next view are stitched to generate a 360-degree image.
  • information such as the latitude, longitude, and altitude of the GPS attribute in the EXIF metadata of the inserted image is used as a 360- The position of the stitched image in the image can be confirmed.
  • FIG. 6 illustrates a portion of the main image displayed through the similarity analysis.
  • the electronic device displays the marker in an area with high similarity in relation to the embedded image.
  • FIG. 6 illustrates an arrow-shaped marker, but the shape of the marker may be variously changed.
  • FIG. 7 illustrates a process of inserting an embedded image into a main image.
  • the user refers to the marker and designates a position to insert the inserted image.
  • the user can insert the inserted image into the main image by a drag and drop method using the touch interface of the touch screen, or insert the inserted image into the main image using an input device such as a mouse or the like.
  • the position of the marker can be specified as the default position for inserting the inserted image. However, since the position of the marker is not constrained to the insertion position of the insertion image, the user can insert the insertion image at a position different from the marker.
  • the computer automatically inserts the object at the recommended position after displaying the recommended position marker.
  • the electronic device automatically inserts the object at a position having similar feature points
  • the user may automatically check the position of the inserted object, and if the position is incorrect, the object may be dragged to fine-tune the position.
  • Figure 8 illustrates the process of taking another image for insertion into the main image.
  • the electronic device can display the insertion position using the rotation angle of the electronic device.
  • the main image is a 360-degree image and the user inserts a previously photographed image (hereinafter referred to as a 'first photograph') at a specific position in the main image, ')
  • the electronic device rotates the main image by ⁇ on the basis of the position where the first photograph is inserted, and displays it on the screen.
  • the rotational direction and the rotational angle of the electronic device can be measured by the gyroscope.
  • the rotation angle may also be the difference in Yaw value measured by the gyroscope.
  • the azimuth sensor inside the smartphone can be used to determine the direction of rotation.
  • the main image is rotated 360 degrees from the first photograph's insertion position, The appropriate location to be inserted is displayed.
  • FIG. 9 illustrates a process of rotating the main image by rotating the rotation angle of the electronic device from the inserted position of the photographed image.
  • main image is a 360-degree image
  • an image photographed by a person in the step of FIG. 7 is inserted into the main image and the electronic device is rotated by the angle?
  • the main image is rotated by ⁇ and displayed on the screen.
  • FIG. 10 illustrates a portion of a displayed main image rotated by an angle of rotation of an electronic device.
  • the electronic device rotates the main image by an angle &thetas; with respect to the previous insertion position and displays it on the screen.
  • the marker for the previous insertion point can also be rotated by ⁇ and displayed on the screen.
  • FIG. 10 illustrates an arrow-shaped marker, but the shape of the marker may be variously changed.
  • a marker different from the position at which the inserted image is inserted in the main image can be used have.
  • a circle icon may be used instead of an arrow as the shape of the marker.
  • FIG. 11 illustrates a process of inserting an embedded image into a main image.
  • the user refers to the marker and designates a position to insert the inserted image.
  • the user can insert the inserted image into the main image by a drag and drop method using the touch interface of the touch screen, or insert the inserted image into the main image using an input device such as a mouse or the like.
  • the computer automatically inserts the object at the recommended position after displaying the recommended position marker.
  • the electronic device automatically inserts the object at a position having similar feature points
  • the user may automatically check the position of the inserted object, and if the position is incorrect, the object may be dragged to fine-tune the position.
  • FIG. 12 is a flowchart illustrating a method of generating a multi-depth image according to the first embodiment of the present invention.
  • the method for generating a multi-depth image includes the steps of determining an object to be inserted into a main image (S1210), analyzing a degree of similarity between the main image and a selected object, A step S1220 of searching an area corresponding to the selected object, a step S1220 of displaying the area searched out of the main image on the screen of the electronic device S1230, a step S1230 of selecting a location for inserting the selected object in the main image displayed on the screen, Receiving input (S1240), and inserting the selected object in the selected position in the main image according to the user input (S1250).
  • the displaying step S1230 may include rotating the main image so that the searched area is at the center of the screen.
  • the step of retrieving the area corresponding to the selected entity includes the steps of: extracting the minutiae of the main image from the electronic device; extracting minutiae points of the selected image from the electronic device; And determining a feature point region having characteristics similar to the feature points of the image.
  • the electronic device may further include receiving the main image from the camera equipped with the wireless communication function.
  • the electronic device may further include a step of taking a user's input and taking a main image.
  • the main image and the selected object may be a 360 degree image.
  • the step of retrieving the area corresponding to the selected entity may include the electronic device comparing the GPS position of the first image with the GPS position of the second image to determine a similar area of the GPS position.
  • FIG. 12 is a flowchart illustrating a method of generating a multi-depth image according to a second embodiment of the present invention.
  • a method for generating a multi-depth image includes: setting a reference position in a main image (S1310); receiving a user input for capturing an image to be inserted (S1320), calculating a rotation direction and a rotation angle from the reference position to an image photographed (S1330) when the image to be inserted in the main image is photographed according to user input, calculating a rotation direction and a rotation angle (S1340) displaying the corresponding area on the screen of the electronic device, receiving a user input for selecting a position to insert the selected object in the main image displayed on the screen (S1350), and selecting And inserting the selected object at the selected position in the main image according to the user input (S1360).
  • the step of setting (S1310) may set the position where the electronic device last captured image is inserted into the main image as the reference position.
  • the rotation direction and the rotation angle can be measured by the gyroscope.
  • the rotation angle may be the difference in Yaw value measured by the gyroscope.
  • the multi-depth image generation method described in the above embodiments can be implemented as a code that can be read by a computer including a processor or a recording medium readable by an electronic apparatus such as a smart phone.
  • a recording medium readable by a computer or a smart phone includes all kinds of recording devices in which data that can be read by a computer system is stored. That is, the recording medium that can be read by a computer or a smart phone includes a magnetic storage medium (e.g., a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (e.g., CD- (E.g., USB, SSD) and carrier waves (e.g., transmission over the Internet).
  • code that is distributed to networked computer systems and readable by a computer or smartphone in a distributed manner can be stored and executed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 전자 장치가 메인 이미지 내에 하나 이상의 개체가 트리 구조로 삽입된 멀티 심도 이미지를 생성하는 방법에 관한 것으로, 메인 이미지에 삽입할 개체를 결정하는 단계, 메인 이미지와 선택된 개체 간의 유사도를 분석하여, 메인 이미지 중에서 선택된 개체에 대응하는 영역을 검색하는 단계, 메인 이미지 중 검색된 영역을 전자 장치의 화면에 디스플레이하는 단계, 화면에 디스플레이된 메인 이미지에 선택된 개체를 삽입할 위치를 선택하기 위한 사용자 입력을 수신하는 단계 및 사용자 입력에 따라 메인 이미지 내의 선택된 위치에 선택된 개체를 삽입하는 단계를 포함한다.

Description

멀티 심도 이미지 생성 방법
본 발명은 스마트폰과 같은 전자 장치에서 이미지를 생성하는 방법에 대한 것이다. 구체적으로 본 발명은, 하나의 이미지에 다른 이미지가 삽입된 멀티 심도 이미지를 생성하는 방법에 대한 것이다.
이 부분에 기술된 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
전자 장치를 이용하여 이미지 파일을 열었을 때 이미지 파일의 특정 부분에 대한 자세한 정보 또는 확대된 이미지가 요구될 수 있다. 예를 들어 자동차 이미지의 경우, 헤드라이트, 바퀴 등과 같은 특정 부분에 대한 보다 자세한 이미지가 요구될 수 있다.
스마트폰 등과 같은 휴대용 전자 장치의 경우 화면이 작으므로 전체 이미지에서 특정 부분의 자세한 이미지를 확인하기 어렵다. 특정 부분의 자세한 이미지를 확인하기 위하여 해당 부분의 이미지를 확대하는 방법을 이용할 수 있으나, 이는 단순히 픽셀의 크기를 늘리는 것에 불과하므로 만족할 만한 해상도를 얻을 수 없고, 나아가 기존 이미지를 단순 확대하는 것 이외의 추가적인 정보를 얻을 수 없다는 문제가 있다.
이러한 문제를 해결하기 위하여 본 발명자는 기본이 되는 하나의 이미지(이하, '메인 이미지')에 추가적인 정보를 제공하는 다른 이미지(이하, '삽입 이미지')의 삽입이 가능한 새로운 포맷의 이미지(이하, '멀티 심도 이미지') 및 그 생성 방법에 대한 발명을 한국 특허 제10-1501028호(2015.03.04 등록)로 등록받은 바 있다.
동 문헌은 멀티 심도 이미지의 정의와, 멀티 심도 이미지의 생성 및 편집을 위한 사용자 인터페이스를 개시하고 있다. 본 발명은 동 발명의 후속 발명으로서, 삽입 이미지가 선택되었을 때 메인 이미지에서 삽입 이미지가 삽입될 적절한 위치를 표시해 줌으로써 사용자가 편리하게 멀티 심도 이미지를 생성하는 방법에 대한 것이다.
본 발명이 해결하고자 하는 기술적 과제는 사용자가 멀티 심도 이미지를 생성하는 데 필요한 시간을 줄일 수 있는 방법을 제공하기 위한 것이다.
본 발명이 해결하고자 하는 기술적 과제는 전술한 기술적 과제에 한정되지 않고 언급되지 않은 다른 기술적 과제들이 아래의 기재로부터 통상의 기술자에게 자명하게 도출될 수 있을 것이다.
본 발명의 일 실시예에 의하면, 전자 장치가 메인 이미지 내에 하나 이상의 개체가 트리 구조로 삽입된 멀티 심도 이미지를 생성하는 방법에 있어서, 메인 이미지에 삽입할 개체를 결정하는 단계, 메인 이미지와 선택된 개체 간의 유사도를 분석하여, 메인 이미지 중에서 선택된 개체에 대응하는 영역을 검색하는 단계, 메인 이미지 중 검색된 영역을 전자 장치의 화면에 디스플레이하는 단계, 화면에 디스플레이된 메인 이미지에 선택된 개체를 삽입할 위치를 선택하기 위한 사용자 입력을 수신하는 단계 및 사용자 입력에 따라 메인 이미지 내의 선택된 위치에 선택된 개체를 삽입하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법을 제공한다.
본 발명의 다른 실시예에 의하면, 전자 장치가 메인 이미지 내에 하나 이상의 개체가 트리 구조로 삽입된 멀티 심도 이미지를 생성하는 방법에 있어서, 메인 이미지 내에서 기준 위치를 설정하는 단계, 삽입할 이미지를 촬영하기 위한 사용자 입력을 수신하는 단계, 메인 이미지 내에 삽입할 이미지가 촬영되면, 기준 위치로부터 촬영된 이미지까지의 회전 방향 및 회전 각도를 연산하는 단계, 메인 이미지 중 기준 위치로부터 회전 방향 및 회전 각도에 해당하는 영역을 전자 장치의 화면에 디스플레이하는 단계, 화면에 디스플레이된 메인 이미지에 선택된 개체를 삽입할 위치를 선택하기 위한 사용자 입력을 수신하는 단계 및 삽입할 위치를 선택하기 위한 사용자 입력에 따라 메인 이미지 내의 선택된 위치에 선택된 개체를 삽입하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법을 제공한다.
본 발명의 일 실시예에 의하면 삽입 이미지가 삽입될 적절한 위치를 자동으로 표시하여 보여 줌으로써 사용자가 빠르고 편리하게 멀티 심도 이미지를 생성할 수 있다.
도 1은 멀티 심도 이미지를 설명하기 위한 개념도이다.
도 2는 이미지 뷰어에서 도 1의 멀티 심도 이미지가 실제로 화면에 표시되는 방식을 예시한 도면이다.
도 3은 한 화면에 표시하기 어려운 메인 이미지를 예시한 것이다.
도 4는 메인 이미지에 삽입하기 위한 이미지를 촬영하는 과정을 예시한 것이다.
도 5는 메인 이미지와 삽입 이미지의 유사도를 분석하여 메인 이미지의 일부분을 디스플레이하는 과정을 예시한 것이다.
도 6은 유사도 분석을 통해 디스플레이된 메인 이미지의 일부분을 예시한 것이다.
도 7은 메인 이미지에 삽입 이미지를 삽입하는 과정을 예시한 것이다.
도 8은 메인 이미지에 삽입하기 위한 다른 이미지를 촬영하는 과정을 예시한 것이다.
도 9는 메인 이미지를 먼저 촬영된 사진의 삽입 위치로부터 전자 장치의 회전각만큼 회전시켜 표시해 주는 과정을 예시한 것이다.
도 10은 전자 장치의 회전각만큼 회전시켜 디스플레이된 메인 이미지의 일부분을 예시한 것이다.
도 11은 메인 이미지에 삽입 이미지를 삽입하는 과정을 예시한 것이다.
도 12는 본 발명의 제1 실시예에 따른 멀티 심도 이미지 생성 방법을 예시한 순서도이다.
도 13은 본 발명의 제2 실시예에 따른 멀티 심도 이미지 생성 방법을 예시한 순서도이다.
이하, 본 발명의 일 실시예를 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되어 있더라도 가능한 한 동일한 부호를 사용하고 있음에 유의해야 한다. 또한 본 발명의 일 실시예를 설명함에 있어서 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명을 생략한다.
본 발명의 일 실시예의 구성요소를 설명함에 있어서 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐 그 부호에 의해 해당 구성요소의 본질, 차례, 순서 등이 한정되는 것은 아니다. 본 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 해당 부분이 다른 구성요소를 부가하는 것을 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. '~부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 '하드웨어', '소프트웨어' 또는 '하드웨어와 소프트웨어의 결합'으로 구현될 수 있다.
1. 멀티 심도 이미지의 구조
도 1은 멀티 심도 이미지의 구조를 설명하기 위한 개념도이다.
도 1은 이미지 뷰어에서 멀티 심도 이미지가 실제로 표시된 화면이 아니라 멀티 심도 이미지의 구조를 표현한 개념도이다.
도 1에 나타난 것과 같이, 멀티 심도 이미지는 복수개의 이미지가 트리 구조로 연결된 구조이다. 트리 구조에서 최상위에 위치하는 이미지는 메인 이미지이다. 도 1에서는 자동차의 전체적인 이미지를 메인 이미지로 예시하였다.
메인 이미지 이외의 이미지는 삽입 이미지이다. 트리 구조에서 루트에는 메인 이미지가 위치하고, 하나 이상의 삽입 이미지는 서로 부모, 형제 또는 자식의 관계를 가지고 메인 이미지 아래에 연결되어 있다.
메인 이미지는 0의 깊이를 가지고, 메인 이미지에 직접 삽입된 삽입 이미지는 1의 깊이를 가진다. 예컨대 자동차 전체가 표시된 이미지(이하, '자동차 전체 이미지')에 헤드라이트가 표시된 이미지(이하, '헤드라이트 이미지') 및 바퀴가 표시된 이미지(이하, '바퀴 이미지')를 삽입할 수 있으며, 이 경우 헤드라이트 이미지 및 바퀴 이미지는 1의 깊이를 가진다.
삽입 이미지에 삽입된 다른 삽입 이미지는 2 이상의 깊이를 가진다. 예컨대 1의 깊이를 가지는 헤드라이트 이미지에 전구가 표시된 이미지(이하, '전구 이미지') 및 반사경이 표시된 이미지(이하, '반사경 이미지')를 삽입할 수 있으며, 이 경우 전구 이미지 및 반사경 이미지는 2의 깊이를 가진다. 또한 1의 깊이를 가지는 바퀴 이미지에 타이어휠이 표시된 이미지(이하, '타이어휠 이미지') 및 타이어가 표시된 이미지(이하, '타이어 이미지')를 삽입할 수 있으며, 이 경우 타이어휠 이미지 및 타이어 이미지는 2의 깊이를 가진다.
이와 같은 방식으로 계속하여 이미지를 삽입할 수 있다. 예컨대 전구 이미지, 반사경 이미지, 타이어휠 이미지 또는 타이어 이미지에 다른 이미지를 삽입할 수 있으며, 이 때 삽입되는 이미지는 3의 깊이를 가지게 된다.
이와 같이 트리 구조로 연결된 복수의 이미지들은 이미지들 간의 연결 관계에 대한 속성과 함께 하나의 파일로 저장되어 멀티 뎁스 이미지를 구성하게 된다.
2. 멀티 심도 이미지의 표시
도 1에서 자동차 노드 아래에 헤드라이트 노드 및 바퀴 노드가 위치하고, 헤드라이트 노드 아래에 전구 노드 및 반사경 노드가 위치하며, 바퀴 노드 아래에 타이어휠 노드 및 타이어 노드가 위치한다.
멀티 심도 이미지는 도 1에 예시된 트리 구조에서 부모 노드의 개체에 자식 노드의 개체가 삽입된 형태의 이미지 포맷이다. 부모 노드의 개체에 자식 노드의 개체가 삽입될 때 삽입되는 개체는 일반적으로 이미지이다. 그러나 이미지 외에도 동영상, 텍스트, 음성, 다른 파일에 대한 링크, 인터넷 주소 링크, 북마크 등 다양한 개체가 자식 노드의 개체로서 부모 노드의 개체에 삽입될 수 있다. 다만 이하에서는 설명의 편의상 부모 노드의 개체 및 자식 노드의 개체가 모두 이미지인 경우를 예로 들어 설명한다.
부모 노드의 개체 및 자식 노드의 개체가 이미지라고 할 때 도 1에 예시된 트리 구조에서 부모 노드의 이미지(이하, '부모 이미지')의 적절한 위치에 자식 노드의 이미지(이하, '자식 이미지')를 삽입함으로써 멀티 심도 이미지를 생성할 수 있다. 부모 이미지의 적절한 위치에 자식 이미지를 삽입하는 방법으로서, 부모 이미지와 자식 이미지를 비교한 후 부모 이미지에서 자식 이미지의 특징이 발견된 위치에 자식 이미지를 삽입하는 방법을 사용할 수 있다.
도 2는 이미지 뷰어에서 도 1의 멀티 심도 이미지가 실제로 화면에 표시된 상태를 예시한 도면이다.
이미지 뷰어에서 도 2와 같이 자동차에 대한 멀티 심도 이미지(200)를 구성하는 모든 이미지가 한 화면에 표시될 수도 있고, 자동차에 대한 멀티 심도 이미지(200)를 구성하는 자동차 전체 이미지(210), 헤드라이트 이미지(220), 전구 이미지(221), 반사경 이미지(222), 바퀴 이미지(230), 타이어휠 이미지(231) 또는 타이어 이미지(232)가 단독으로 표시될 수도 있다. 각각의 이미지가 단독으로 표시될 경우, 다른 이미지가 삽입되어 있음을 나타내는 아이콘(도 2에서는 '⊙' 모양의 아이콘)을 클릭 또는 터치하면 삽입된 이미지가 표시될 수 있다.
도 2에 나타난 것과 같이, 멀티 심도 이미지는, 자동차 전체 이미지(210)에서 헤드라이트 이미지(220)와 유사한 특징이 발견된 위치에 헤드라이트 이미지(220)가 삽입되고, 자동차 전체 이미지(210)에서 바퀴 이미지(230)와 유사한 특징이 발견된 위치에 바퀴 이미지(230)가 삽입되며, 헤드라이트 이미지(220)에서 전구 이미지(221)와 유사한 특징이 발견된 위치에 전구 이미지(221)가 삽입되고, 헤드라이트 이미지(220)에서 반사경 이미지(222)와 유사한 특징이 발견된 위치에 반사경 이미지(222)가 삽입되며, 바퀴 이미지(230)에서 타이어휠 이미지(231)와 유사한 특징이 발견된 위치에 타이어휠 이미지(231)가 삽입되고, 바퀴 이미지(230)에서 타이어 이미지(232)와 유사한 특징이 발견된 위치에 타이어 이미지(232)가 삽입된 형태의 이미지일 수 있다.
다만 반드시 부모 이미지에서 자식 이미지의 특징이 발견된 위치에 자식 이미지가 삽입되어야 하는 것은 아니고, 부모 이미지의 어느 위치에든 자식 이미지가 삽입된 구조이기만 하면 멀티 심도 이미지가 된다.
3. 기본 인터페이스
멀티 심도 이미지에서 루트 노드의 이미지가 '메인 이미지'이고, 메인 이미지를 제외한 모든 이미지가 '삽입 이미지'이다. 메인 이미지에 삽입 이미지를 삽입하기 위한 사용자 인터페이스는 다음과 같이 구현될 수 있다.
① 사용자로부터 메인 이미지를 선택하는 입력을 수신한다.
② 사용자로부터 삽입 이미지를 선택하는 입력을 수신한다.
③ 메인 이미지 및 작은 크기로 아이콘화된 삽입 이미지를 화면에 표시한다.
④ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑤ 사용자로부터 드래그 입력의 종료를 수신한다.
⑥ 터치 입력이 종료된 위치에 삽입 이미지를 삽입한다.
삽입 이미지에 다른 삽입 이미지를 삽입하기 위한 사용자 인터페이스는 다음과 같이 구현될 수 있다.
① 사용자로부터 메인 이미지를 선택하는 입력을 수신한다.
② 사용자로부터 삽입 이미지를 선택하는 입력을 수신한다.
③ 메인 이미지 및 작은 크기로 아이콘화된 삽입 이미지를 화면에 표시한다.
④ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑤ 아이콘화된 삽입 이미지가 기존의 삽입 이미지가 삽입된 위치에 드래그되면 메인 이미지 대신 기존의 삽입 이미지를 화면에 표시한다.
⑥ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑦ 사용자로부터 드래그 입력의 종료를 수신한다.
⑧ 터치 입력이 종료된 위치에 삽입 이미지를 삽입한다. 기존의 삽입 이미지의 깊이가 N이면 새롭게 삽입된 이미지의 깊이는 N+1이 된다.
이상의 사용자 인터페이스에 의하면 멀티 심도 이미지의 생성 및 편집 시 원터치(one touch) 또는 원클릭(one click)으로 메인 이미지에 삽입 이미지를 삽입할 수 있다.
그러나 상기 사용자 인터페이스는 이미지 삽입 위치가 결정된 상태에서 이미지 삽입 과정 단계를 간소화한 것이며 이미지 삽입 위치를 자동으로 판단해주는 것은 아니다.
본 발명의 일 실시예는 멀티 심도 이미지에 삽입 이미지를 삽입함에 있어서 삽입 이미지가 삽입될 위치를 자동으로 판단하여 표시해 주는 방법을 제공한다.
특히, 본 발명의 일 실시예에 의하면, 메인 이미지가 360도 이미지 또는 파노라마 이미지와 같이 한 화면에 표시하기 어려운 큰 이미지인 경우, 메인 이미지와 삽입 이미지의 유사도를 비교하여 메인 이미지에서 삽입 이미지가 삽입될 위치를 확대하여 화면에 표시함으로써, 사용자가 메인 이미지에 삽입 이미지를 용이하게 삽입할 수 있다.
4. 제1 실시예
도 3은 한 화면에 표시하기 어려운 메인 이미지를 예시한 것이다.
본 발명의 일 실시예는 메인 이미지가 360도 이미지 또는 파노라마 이미지와 같이 한 화면에 표시하기 어려운 큰 이미지일 때 적용될 수 있다. 다만 이는 예시적인 것이고, 메인 이미지가 360도 이미지 또는 파노라마 이미지와 같이 한 화면에 표시하기 어려운 큰 이미지가 아니더라도 본 발명의 일 실시예가 적용될 수 있다.
메인 이미지가 360도 이미지인 경우, 전자 장치가 무선 통신 기능이 구비된 360도 카메라에서 촬영된 360도 이미지를 무선 통신을 통해 수신할 수 있다.
또는 전자 장치에 360도 이미지 촬영 카메라가 구비되어 있을 경우, 메인 이미지는 전자 장치에서 촬영된 이미지일 수 있다.
도 3에서 좌우로 긴 사진은 실내를 촬영한 360도 이미지를 예시한 것이고, 좌우로 긴 사진에 포함된 사각형, 사람 얼굴 아이콘, 마름모 및 삼각형은 실내에 있는 사람 또는 사물을 예시한 것이다. 도 3의 점선 부분은 전자 장치의 화면에 표시되는 이미지를 예시한 것이다.
도 3에 나타난 것과 같이, 전자 장치의 화면에 360도 이미지 전체가 표시되지 않고 있음을 알 수 있다. 물론 360도 이미지를 축소시키면 전자 장치의 화면에 360도 이미지 전체를 표시할 수 있겠지만, 그 경우 실내에 있는 사람 또는 사물을 전혀 식별할 수 없으므로 통상적인 사용 예에서는 360도 이미지의 일부만을 표시하게 된다.
도 4는 메인 이미지에 삽입하기 위한 이미지를 촬영하는 과정을 예시한 것이다.
사용자는 특정 사람 또는 사물에 접근하여 상세한 사진을 다시 촬영하고, 촬영된 상세한 사진을 메인 이미지인 360도 이미지에 삽입할 수 있다. 다만 360도 이미지는 좌우로 긴 상태여서 통상적인 사용 예에서는 화면에 모두 표시되지 않으므로 촬영한 이미지를 360도 이미지의 어디에 삽입할지 찾는 과정이 번거롭고 불편하다.
도 5는 메인 이미지와 삽입 이미지의 유사도를 분석하여 메인 이미지의 일부분을 디스플레이하는 과정을 예시한 것이다.
본 발명의 일 실시예에 따르면 전자 장치를 이용하여 메인 이미지에 삽입 이미지를 삽입하여 멀티 심도 이미지를 생성함에 있어서, 메인 이미지와 삽입 이미지가 결정되면 전자 장치는 메인 이미지와 삽입 이미지 간의 유사도를 분석하여 메인 이미지에서 삽입 이미지에 대응하는 영역을 검색한다.
전자 장치는 메인 이미지 중 검색된 영역이 화면 중심에 오도록 메인 이미지의 일부분을 디스플레이하고, 사용자는 디스플레이된 메인 이미지를 참고하여 삽입 이미지를 삽입한다.
일례로서 메인 이미지가 360도 이미지인 경우, 전자 장치는 메인 이미지에서 삽입 이미지와 유사도가 높은 영역을 찾은 후, 해당 영역이 화면 중앙에 오도록 360도 이미지를 회전시켜 전자 장치에 표시할 수 있다.
유사도 분석은 메인 이미지 및 삽입 이미지의 특징점을 추출한 후 특징점 비교를 통하여 유사도를 분석하는 것일 수 있다.
구체적으로 전자 장치가 메인 이미지 및 삽입 이미지의 특징점을 추출하고, 메인 이미지의 특징점 중에서 삽입 이미지의 특징점과 유사한 특징을 가진 특징점 영역을 판단한 후, 유사한 특징점 영역이 화면 중앙에 오도록 메인 이미지를 회전시킬 수 있다.
유사도 분석 외에도 사진에 포함된 GPS 정보를 이용하여 메인 이미지와 삽입 이미지를 매칭시킬 수 있다.
예컨대 메인 이미지가 구글 스트리트 뷰, 다음 뷰와 같이 전후좌우 이동이 가능한 360도 이미지인 경우, 메인 이미지의 각 지점은 GPS 정보를 가지고 있다. 삽입 이미지가 해당 거리의 특정 지점에서 촬영한 이미지인 경우, 전자 장치는 삽입 이미지의 GPS 정보를 이용하여 삽입 이미지가 메인 이미지의 어느 지점에 삽입되어야 할지를 판단하여 메인 이미지에서 해당 지점을 확대하여 표시해 줄 수 있다. 구체적으로, 구글 스트리트 뷰, 다음 뷰 등의 이미지는 복수개의 이미지들이 스티칭되어 360도 이미지를 생성하므로, 삽입된 이미지의 EXIF 메타데이터 내의 GPS 속성의 위도, 경도, 고도 등의 정보를 이용하여 360도 이미지 내 스티칭된 이미지의 위치를 확인할 수 있다.
도 6은 유사도 분석을 통해 디스플레이된 메인 이미지의 일부분을 예시한 것이다.
도 6에 나타난 것과 같이, 전자 장치는 삽입 이미지와의 관계에서 유사도가 높은 영역에 마커를 표시한다. 도 6은 화살표 모양의 마커를 예시하고 있으나 마커의 모양은 다양하게 변경될 수 있다.
도 7은 메인 이미지에 삽입 이미지를 삽입하는 과정을 예시한 것이다.
사용자는 마커를 참고하여 삽입 이미지를 삽입할 위치를 지정한다. 이 때 사용자는 터치 스크린의 터치 인터페이스를 이용하여 드래그 앤 드롭 방식으로 메인 이미지에 삽입 이미지를 삽입할 수도 있고, 기타 마우스 등의 입력 장치를 이용하여 메인 이미지에 삽입 이미지를 삽입할 수도 있다.
마커의 위치는 삽입 이미지를 삽입하는 기본 위치로 지정될 수 있다. 다만 마커의 위치가 삽입 이미지의 삽입 위치로 강제되는 것은 아니므로, 사용자는 마커와 다른 위치에 삽입 이미지를 삽입할 수 있다.
한편, 추천 위치 마커 표시 후 컴퓨터가 자동으로 추천 위치에 개체를 삽입할 수도 있다. 이 경우 전자 장치가 유사한 특징점을 갖는 위치에 개체를 자동으로 삽입하면, 사용자는 자동으로 삽입된 개체의 위치를 확인하고, 위치가 잘못되어 있으면 개체를 드래그하여 위치를 세부 조절하도록 구현될 수도 있다.
5. 제2 실시예
도 8은 메인 이미지에 삽입하기 위한 다른 이미지를 촬영하는 과정을 예시한 것이다.
메인 이미지가 360도 이미지이고, 기 촬영되어 삽입된 이미지가 있는 경우, 전자 장치는 전자 장치의 회전각을 이용하여 삽입 위치를 표시할 수 있다.
예컨대 메인 이미지가 360도 이미지이고, 사용자가 기 촬영된 사진(이하, '제1 사진')을 메인 이미지의 특정 위치에 삽입한 후 전자 장치를 θ만큼 회전시켜 다른 사진(이하, '제2 사진')을 촬영한 경우, 전자 장치는 제1 사진이 삽입된 위치를 기준으로 메인 이미지를 θ만큼 회전시켜 화면에 표시한다.
이 때 전자 장치의 회전 방향 및 회전 각도는 자이로스코프에 의해 측정될 수 있다. 또한 회전 각도는 자이로스코프에 의해 측정된 요(YAW) 값의 차이일 수 있다. 자이로 센서 외에 스마트폰 내의 방위각 센서를 이용해서 회전 방향을 알 수도 있다.
메인 이미지가 360도 이미지이므로, 사용자가 제1 사진이 촬영된 각도에서 전자 장치를 θ만큼 회전시켜 제2 사진을 촬영하였을 경우, 메인 이미지를 제1 사진의 삽입 위치로부터 θ만큼 회전시키면 제2 사진이 삽입될 적절한 위치가 표시된다.
도 9는 메인 이미지를 먼저 촬영된 사진의 삽입 위치로부터 전자 장치의 회전각만큼 회전시켜 표시해 주는 과정을 예시한 것이다.
메인 이미지가 360도 이미지이고, 도 7의 단계에서 사람을 촬영한 이미지를 메인 이미지에 삽입한 후 전자 장치를 θ만큼 돌려 마름모 모양의 사물을 촬영하였을 경우, 전자 장치는 사람을 촬영한 이미지가 삽입된 위치를 기준으로 메인 이미지를 θ만큼 회전시켜 화면에 표시해 준다.
도 10은 전자 장치의 회전각만큼 회전시켜 디스플레이된 메인 이미지의 일부분을 예시한 것이다.
도 10에 나타난 것과 같이, 전자 장치는 메인 이미지를 이전 삽입 위치를 기준으로 θ만큼 회전시켜 화면에 표시한다. 이전 삽입 위치에 대한 마커 또한 θ만큼 회전시켜 화면에 표시해 줄 수 있다.
도 10은 화살표 모양의 마커를 예시하고 있으나 마커의 모양은 다양하게 변경될 수 있다. 특히 도 10의 경우 전자 장치의 회전각을 이용하여 메인 이미지에서 삽입 이미지가 삽입될 위치를 표시하는 것이므로, 유사도 분석을 이용하여 메인 이미지에서 삽입 이미지가 삽입될 위치를 표시하는 것과는 다른 마커를 사용할 수 있다. 예컨대 마커의 모양으로서 화살표 모양이 아닌 동그라미 모양의 아이콘을 사용할 수 있다.
도 11은 메인 이미지에 삽입 이미지를 삽입하는 과정을 예시한 것이다.
사용자는 마커를 참고하여 삽입 이미지를 삽입할 위치를 지정한다. 이 때 사용자는 터치 스크린의 터치 인터페이스를 이용하여 드래그 앤 드롭 방식으로 메인 이미지에 삽입 이미지를 삽입할 수도 있고, 기타 마우스 등의 입력 장치를 이용하여 메인 이미지에 삽입 이미지를 삽입할 수도 있다.
한편, 추천 위치 마커 표시 후 컴퓨터가 자동으로 추천 위치에 개체를 삽입할 수도 있다. 이 경우 전자 장치가 유사한 특징점을 갖는 위치에 개체를 자동으로 삽입하면, 사용자는 자동으로 삽입된 개체의 위치를 확인하고, 위치가 잘못되어 있으면 개체를 드래그하여 위치를 세부 조절하도록 구현될 수도 있다.
6. 제1 실시예의 순서도
도 12는 본 발명의 제1 실시예에 따른 멀티 심도 이미지 생성 방법을 예시한 순서도이다.
도 12에 나타난 것과 같이 본 발명의 제1 실시예에 따른 멀티 심도 이미지 생성 방법은, 메인 이미지에 삽입할 개체를 결정하는 단계(S1210), 메인 이미지와 선택된 개체 간의 유사도를 분석하여, 메인 이미지 중에서 선택된 개체에 대응하는 영역을 검색하는 단계(S1220), 메인 이미지 중 검색된 영역을 전자 장치의 화면에 디스플레이하는 단계(S1230), 화면에 디스플레이된 메인 이미지에 선택된 개체를 삽입할 위치를 선택하기 위한 사용자 입력을 수신하는 단계(S1240) 및 사용자 입력에 따라 메인 이미지 내의 선택된 위치에 선택된 개체를 삽입하는 단계(S1250)를 포함한다.
디스플레이하는 단계(S1230)는, 검색된 영역이 화면 중앙에 오도록 메인 이미지를 회전하는 단계를 포함할 수 있다.
선택된 개체에 대응하는 영역을 검색하는 단계(S1220)는, 전자 장치가 메인 이미지의 특징점을 추출하는 단계, 전자 장치가 선택된 이미지의 특징점을 추출하는 단계 및 전자 장치가 메인 이미지의 특징점 영역 중에서 멀티 심도 이미지의 특징점과 유사한 특징을 가진 특징점 영역을 판단하는 단계를 포함할 수 있다.
삽입할 개체를 결정하는 단계(S1210) 전에, 전자 장치가 무선 통신 기능이 구비된 카메라로부터 메인 이미지를 수신하는 단계를 더 포함할 수 있다.
삽입할 개체를 결정하는 단계(S1210) 전에, 전자 장치가 사용자의 입력을 받아 메인 이미지를 촬영하는 단계를 더 포함할 수 있다.
메인 이미지 및 선택된 개체는 360도 이미지일 수 있다.
선택된 개체에 대응하는 영역을 검색하는 단계(S1220)는, 전자 장치가 제1 이미지의 GPS 위치와 제2 이미지의 GPS 위치를 비교하여, GPS 위치가 유사한 영역을 판단하는 단계를 포함할 수 있다.
그밖에 전술한 실시예에서 설명한 내용과 중복되는 내용은 설명을 생략한다.
7. 제2 실시예의 순서도
도 12는 본 발명의 제2 실시예에 따른 멀티 심도 이미지 생성 방법을 예시한 순서도이다.
도 12에 나타난 것과 같이 본 발명의 제2 실시예에 따른 멀티 심도 이미지 생성 방법은, 메인 이미지 내에서 기준 위치를 설정하는 단계(S1310), 삽입할 이미지를 촬영하기 위한 사용자 입력을 수신하는 단계(S1320), 사용자 입력에 따라 메인 이미지 내에 삽입할 이미지가 촬영되면, 기준 위치로부터 촬영된 이미지까지의 회전 방향 및 회전 각도를 연산하는 단계(S1330), 메인 이미지 중 기준 위치로부터 회전 방향 및 회전 각도에 해당하는 영역을 전자 장치의 화면에 디스플레이하는 단계(S1340), 화면에 디스플레이된 메인 이미지에 선택된 개체를 삽입할 위치를 선택하기 위한 사용자 입력을 수신하는 단계(S1350) 및 삽입할 위치를 선택하기 위한 사용자 입력에 따라 메인 이미지 내의 선택된 위치에 선택된 개체를 삽입하는 단계(S1360)를 포함한다.
설정하는 단계(S1310)는 전자 장치가 마지막으로 촬영한 이미지가 메인 이미지에 삽입된 위치를 기준 위치로 설정할 수 있다.
회전 방향 및 회전 각도는 자이로스코프에 의해 측정될 수 있다.
회전 각도는 자이로스코프에 의해 측정되는 요(YAW) 값의 차이일 수 있다.
그밖에 전술한 실시예에서 설명한 내용과 중복되는 내용은 설명을 생략한다.
전술한 실시예들로 설명된 멀티 심도 이미지 생성 방법은 프로세서를 포함하는 컴퓨터 또는 스마트폰 등의 전자 장치가 읽을 수 있는 기록매체에 그 전자 장치가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터 또는 스마트폰이 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터 또는 스마트폰이 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD 등), 플래시 메모리(예를 들면, USB, SSD) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터 또는 스마트폰이 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 실시예는 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 본 실시예의 다양한 수정 및 변형이 가능할 것이다.
본 실시예는 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 따라서 본 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등하거나 균등하다고 인정되는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은, 본 명세서에 그 전체가 참고로서 포함되는, 2017년 12월 29일자로 한국에 출원한 특허출원번호 제10-2017-0184774호에 대해 우선권을 주장한다.

Claims (12)

  1. 전자 장치가 메인 이미지 내에 하나 이상의 개체가 트리 구조로 삽입된 멀티 심도 이미지를 생성하는 방법에 있어서,
    상기 메인 이미지에 삽입할 개체를 결정하는 단계;
    상기 메인 이미지와 상기 선택된 개체 간의 유사도를 분석하여, 상기 메인 이미지 중에서 상기 선택된 개체에 대응하는 영역을 검색하는 단계;
    상기 메인 이미지 중 상기 검색된 영역을 상기 전자 장치의 화면에 디스플레이하는 단계;
    상기 화면에 디스플레이된 상기 메인 이미지에 상기 선택된 개체를 삽입할 위치를 선택하기 위한 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 따라 상기 메인 이미지 내의 상기 선택된 위치에 상기 선택된 개체를 삽입하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 디스플레이하는 단계는,
    상기 검색된 영역이 화면 중앙에 오도록 상기 메인 이미지를 회전하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  3. 제1항에 있어서,
    상기 선택된 개체에 대응하는 영역을 검색하는 단계는,
    상기 전자 장치가 상기 메인 이미지의 특징점을 추출하는 단계;
    상기 전자 장치가 상기 선택된 이미지의 특징점을 추출하는 단계; 및
    상기 전자 장치가 상기 메인 이미지의 특징점 영역 중에서 상기 멀티 심도 이미지의 특징점과 유사한 특징을 가진 특징점 영역을 판단하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  4. 제1항에 있어서,
    상기 삽입할 개체를 결정하는 단계 전에,
    상기 전자 장치가 무선 통신 기능이 구비된 카메라로부터 상기 메인 이미지를 수신하는 단계를 더 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  5. 제1항에 있어서,
    상기 삽입할 개체를 결정하는 단계 전에,
    상기 전자 장치가 사용자의 입력을 받아 상기 메인 이미지를 촬영하는 단계를 더 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  6. 제1항에 있어서,
    상기 메인 이미지 및 상기 선택된 개체는 360도 이미지임을 특징으로 하는 멀티 심도 이미지 생성 방법.
  7. 제6항에 있어서,
    상기 선택된 개체에 대응하는 영역을 검색하는 단계는,
    상기 전자 장치가 상기 제1 이미지의 GPS 위치와 상기 제2 이미지의 GPS 위치를 비교하여, GPS 위치가 유사한 영역을 판단하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  8. 전자 장치가 메인 이미지 내에 하나 이상의 개체가 트리 구조로 삽입된 멀티 심도 이미지를 생성하는 방법에 있어서,
    상기 메인 이미지 내에서 기준 위치를 설정하는 단계;
    삽입할 이미지를 촬영하기 위한 사용자 입력을 수신하는 단계;
    상기 메인 이미지 내에 삽입할 이미지가 촬영되면, 상기 기준 위치로부터 상기 촬영된 이미지까지의 회전 방향 및 회전 각도를 연산하는 단계;
    상기 메인 이미지 중 상기 기준 위치로부터 상기 회전 방향 및 회전 각도에 해당하는 영역을 상기 전자 장치의 화면에 디스플레이하는 단계;
    상기 화면에 디스플레이된 상기 메인 이미지에 상기 선택된 개체를 삽입할 위치를 선택하기 위한 사용자 입력을 수신하는 단계; 및
    상기 삽입할 위치를 선택하기 위한 사용자 입력에 따라 상기 메인 이미지 내의 상기 선택된 위치에 상기 선택된 개체를 삽입하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  9. 제8항에 있어서,
    상기 설정하는 단계는,
    상기 전자 장치가 마지막으로 촬영한 이미지가 상기 메인 이미지에 삽입된 위치를 기준 위치로 설정하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  10. 제8항에 있어서,
    상기 회전 방향 및 회전 각도는, 자이로스코프에 의해 측정되는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  11. 제10항에 있어서,
    상기 회전 각도는, 자이로스코프에 의해 측정되는 요(YAW) 값의 차이인 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  12. 제1항 내지 11항 중 어느 한 항의 방법을 실행시키는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
PCT/KR2018/016819 2017-12-29 2018-12-28 멀티 심도 이미지 생성 방법 WO2019132565A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170184774A KR102644092B1 (ko) 2017-12-29 2017-12-29 멀티 심도 이미지 생성 방법
KR10-2017-0184774 2017-12-29

Publications (1)

Publication Number Publication Date
WO2019132565A1 true WO2019132565A1 (ko) 2019-07-04

Family

ID=67067866

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/016819 WO2019132565A1 (ko) 2017-12-29 2018-12-28 멀티 심도 이미지 생성 방법

Country Status (2)

Country Link
KR (1) KR102644092B1 (ko)
WO (1) WO2019132565A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210066291A (ko) * 2019-11-28 2021-06-07 주식회사 피제이팩토리 멀티 뎁스 이미지 생성 방법 및 이를 위한 프로그램을 기록한 기록매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120062297A (ko) * 2010-12-06 2012-06-14 삼성전자주식회사 디스플레이 장치 및 그 ｕｉ 제공 방법
KR101501028B1 (ko) * 2013-04-04 2015-03-12 박정환 개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치
KR20150078851A (ko) * 2013-12-31 2015-07-08 주식회사 케이티 이미지를 합성하는 방법 및 장치
KR20170038365A (ko) * 2015-09-30 2017-04-07 삼성전자주식회사 전자장치의 이미지 처리장치 및 방법
KR20170046338A (ko) * 2015-10-21 2017-05-02 엘지전자 주식회사 이동단말기 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120062297A (ko) * 2010-12-06 2012-06-14 삼성전자주식회사 디스플레이 장치 및 그 ｕｉ 제공 방법
KR101501028B1 (ko) * 2013-04-04 2015-03-12 박정환 개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치
KR20150078851A (ko) * 2013-12-31 2015-07-08 주식회사 케이티 이미지를 합성하는 방법 및 장치
KR20170038365A (ko) * 2015-09-30 2017-04-07 삼성전자주식회사 전자장치의 이미지 처리장치 및 방법
KR20170046338A (ko) * 2015-10-21 2017-05-02 엘지전자 주식회사 이동단말기 및 그 제어방법

Also Published As

Publication number Publication date
KR102644092B1 (ko) 2024-03-06
KR20190081913A (ko) 2019-07-09

Similar Documents

Publication Publication Date Title
WO2021029648A1 (en) Image capturing apparatus and auxiliary photographing method therefor
WO2018143770A1 (en) Electronic device for creating panoramic image or motion picture and method for the same
WO2019050360A1 (en) ELECTRONIC DEVICE AND METHOD FOR AUTOMATICALLY SEGMENTING TO BE HUMAN IN AN IMAGE
WO2014168389A1 (en) Objects in screen images
WO2019132566A1 (ko) 멀티 심도 이미지의 자동 생성 방법
WO2020171553A1 (en) An electronic device applying bokeh effect to image and controlling method thereof
JP6209962B2 (ja) 情報処理装置及び情報処理プログラム
WO2015005732A1 (en) Method of sharing electronic document and devices for the same
WO2017104919A1 (en) Event-based image management using clustering
WO2019156543A2 (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
WO2017213439A1 (ko) 멀티 스티커를 이용한 영상 생성 방법 및 장치
WO2018062901A1 (ko) 터치스크린 단말기에서 저장 사진의 앨범 지정 및 태깅 방법, 컴퓨터 판독 가능 기록매체 및 단말기
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2020054978A1 (ko) 이미지 생성 장치 및 그 방법
WO2015012495A1 (en) User terminal device and the control method thereof
WO2018040269A1 (zh) 一种图像处理方法及终端
CN101354791A (zh) 用于编辑照片标签的用户接口
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2015088101A1 (en) Display device and method of controlling the same
WO2019132565A1 (ko) 멀티 심도 이미지 생성 방법
WO2014148691A1 (en) Mobile device and method for controlling the same
US20050078190A1 (en) System and method for associating information with captured images
WO2018124689A1 (en) Managing display of content on one or more secondary device by primary device
EP3167405A1 (en) Digital image processing apparatus and system and control method thereof
WO2021086018A1 (ko) 3차원 증강현실 표시 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18897204

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18897204

Country of ref document: EP

Kind code of ref document: A1