WO2019132566A1 - 멀티 심도 이미지의 자동 생성 방법 - Google Patents

멀티 심도 이미지의 자동 생성 방법 Download PDF

Info

Publication number
WO2019132566A1
WO2019132566A1 PCT/KR2018/016820 KR2018016820W WO2019132566A1 WO 2019132566 A1 WO2019132566 A1 WO 2019132566A1 KR 2018016820 W KR2018016820 W KR 2018016820W WO 2019132566 A1 WO2019132566 A1 WO 2019132566A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
similarity
depth
tree structure
Prior art date
Application number
PCT/KR2018/016820
Other languages
English (en)
French (fr)
Inventor
박정환
Original Assignee
주식회사 피제이팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피제이팩토리 filed Critical 주식회사 피제이팩토리
Publication of WO2019132566A1 publication Critical patent/WO2019132566A1/ko
Priority to US16/913,810 priority Critical patent/US11263477B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Definitions

  • the present invention relates to a method for automatically generating a multi-depth image. Specifically, the present invention relates to a method for automatically generating a multi-depth image by comparing a plurality of images.
  • an image file When an image file is opened using an electronic device, detailed information or a magnified image of a specific part of the image file may be required. For example, in the case of a car image, a more detailed image of a specific part such as a headlight, a wheel, etc. may be required.
  • the screen In the case of portable electronic devices such as smart phones, the screen is small, so it is difficult to check the detailed image of a specific portion of the entire image.
  • a method of enlarging the image of the part can be used. However, since it is merely to increase the size of the pixel, satisfactory resolution can not be obtained. There is a problem that additional information can not be obtained.
  • &quot new image &quot
  • 'Multi-Depth Imagery' another image
  • This document discloses a definition of multi-depth images and a user interface for creating and editing multi-depth images. However, this document discloses a method of generating a multi-depth image by manually inserting an inserted image into an appropriate position of a parent image, and does not disclose a method of automatically generating a multi-depth image.
  • the present invention discloses a method for automatically generating a multi-depth image by comparing a plurality of given images.
  • the present invention provides a method of automatically generating a multi-depth image by comparing a plurality of images without having to manually generate a multi-depth image.
  • a method for generating a multi-depth image in an electronic device comprising: selecting a plurality of images; comparing at least a part of the plurality of images to a tree structure And inserting a lower node image into the upper node image in the tree structure to generate a multi-depth image, wherein at least some of the images are hierarchically inserted.
  • a multi-depth image can be automatically generated by comparing a plurality of images and analyzing the degree of similarity.
  • 1 is a conceptual diagram for explaining a multi-depth image.
  • FIG. 2 is a diagram illustrating a process of selecting a material image in an embodiment of the present invention.
  • Figure 3 is a diagram showing a material image as a node in an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a result of determining a degree of similarity between an entire image of a car and another image in an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a result of determining similarity between a wheel image and another image according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a result of determining similarity between an entire building image and another image according to an exemplary embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a result of determining similarity between a main image and another image according to an exemplary embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a process of connecting material images having a degree of similarity of 30% or more in a tree structure according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a process of connecting material images having a degree of similarity of 20% or more in a tree structure according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a process of connecting material images having a degree of similarity of 10% or more in a tree structure according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a process of generating a multi-depth image with reference to a tree structure according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a method for automatically generating a multi-depth image according to an exemplary embodiment of the present invention.
  • the first, second, i), ii), a), b) and the like can be used.
  • Such a code is intended to distinguish the constituent element from another constituent element, but the nature of the constituent element, the order, the order, and the like are not limited by the code. It is to be understood that when a component is referred to as being “comprising” or “comprising,” it should be understood that this section does not exclude the presence of other components, And the like.
  • the term 'module' refers to a unit that processes at least one function or operation, and may be implemented as 'hardware', 'software', or 'combination of hardware and software'.
  • 1 is a conceptual diagram for explaining the structure of a multi-depth image.
  • FIG. 1 is a conceptual diagram illustrating a structure of a multi-depth image, not a screen in which a multi-depth image is actually displayed in the image viewer.
  • a multi-depth image is a structure in which a plurality of images are connected in a tree structure.
  • the topmost image in the tree structure is the main image.
  • the overall image of the car is illustrated as the main image.
  • Images other than the main image are embedded images.
  • the root contains the main image, and one or more embedded images are linked under the main image with parent, sibling, or child relationships to each other.
  • the main image has a depth of 0, and the embedded image directly inserted into the main image has a depth of one.
  • a 'headlight image' and an image (hereinafter referred to as a 'wheel image') in which an image of a vehicle is displayed (hereinafter, referred to as an 'entire vehicle image'
  • the headlight image and the wheel image have a depth of one.
  • inserted images inserted into the inserted image have a depth of two or more.
  • 'bulb image' an image in which a reflector is displayed
  • 'reflector image' an image in which a reflector is displayed
  • a headlight image having a depth of 1 for example, .
  • an image (hereinafter, referred to as a 'tire wheel image') and an image (hereinafter referred to as a 'tire image') in which a tire wheel is displayed can be inserted into a wheel image having a depth of 1, Has a depth of two.
  • Another image can be inserted into a bulb image, a reflector image, a tire wheel image, or a tire image, wherein the inserted image has a depth of three.
  • a plurality of images connected in a tree structure are stored as one file together with the attributes of connection relationships between the images to form a multi-depth image.
  • the image of the root node is the 'main image', and all images except the main image are 'embedded images'.
  • the user interface for inserting an embedded image into the main image may be implemented as follows.
  • the user interface for inserting another inserted image into the inserted image can be implemented as follows.
  • the insertion image can be inserted into the main image by one-touch or one-click when creating and editing a multi-depth image.
  • an embodiment of the present invention provides a method of automatically generating a multi-depth image by comparing a plurality of images.
  • a plurality of images (hereinafter referred to as a "material image") to be a material should be selected as a preliminary work for automatically generating a multi-depth image.
  • the material image may be a general image format rather than a multi-depth image format.
  • the material image may be an image format such as BMP, JPG, JPEG, GIF, PNG, TIF, or TIFF.
  • a material image can be selected using a storage location of an image, metadata information included in an image, and the like.
  • images stored in the same folder can be selected as a material image.
  • all images stored in a subfolder of a specific folder can be selected as material images.
  • all images stored on a specific storage medium such as USB can be selected as material images.
  • a material image can be selected using spatial position information or time information in which each image is generated.
  • Some image files have metadata that can be used to verify the characteristics of the image.
  • photographs taken with a digital camera include metadata including photographer information, photographing time, GPS information on the photographing place, manufacturer and model name of the camera used for photographing.
  • the photographs taken at the adjacent times are highly likely to be highly correlated, the photographs of the plurality of photographs whose photographing time described in the metadata is equal to or less than the predetermined time can be selected as the material images.
  • the photographs photographed at the adjacent places are highly likely to be highly correlated, the photographs of the plurality of photographs whose GPS coordinates described in the meta data are equal to or less than a predetermined distance can be selected as material images.
  • FIG. 2 is a diagram illustrating a process of selecting a material image in an embodiment of the present invention.
  • the user took different pictures at different times and places and stored them in the same folder as the 14 pictures above.
  • the user stored several photographs taken at a restaurant, several photographs taken at a department store, and several photographs taken at a travel destination in the same folder as the one storing the above 14 photographs.
  • 2 (a) shows a list of files stored in the folder.
  • a photograph taken at a place adjacent to an adjacent time can be selected as a material image using metadata included in the image.
  • 14 photographs of the car and 14 photographs of the building can be selected as material images, except for a number of photographs taken at a restaurant, a plurality of photographs taken at a department store, and a plurality of photographs taken at a destination.
  • FIG. 2 (b) illustrates a list of files selected as material images among the files stored in the folder.
  • a multi-depth image can be generated by connecting material images with high similarity to each other.
  • the feature point algorithm can be used as the similarity determination method.
  • a feature point is a point representing a feature of a digital image and means a point that can be distinguished from other points.
  • the feature points are generally located at the boundary, vertex, etc. of the object. Local patterns present in the image can also be feature points. Any point that is characteristic of other digital images and can be distinguished from other points can be a feature point.
  • Image matching is a task that finds corresponding parts in two photographs of the same object using feature points, and has been applied variously in object recognition, three-dimensional structure calculation, stereo matching, motion tracking, and panoramic image generation.
  • the scale of the image may change, or when the point of view of the object changes.
  • a variety of feature point extraction algorithms are developed that are robust to image brightness, ambient illumination change, image scale change, rotation, distortion, and 3D perspective change.
  • Harris proposed a technique of detecting a corner using a feature point.
  • Lindeberg proposed a scheme for detecting blobs (a set of adjacent pixels with similar characteristics) and automatic scale selection by interpreting the image structure using a scale space.
  • Schmid proposed a method that uses the pixel values and differential points calculated at the Harris Corner Detector as feature points.
  • SIFT Scale-Invariant Feature Transform
  • the method according to an embodiment of the present invention can extract the feature points from each image using various feature point extraction algorithms, and then determine the similarity of the two images.
  • the similarity of two images can be determined by a technique using machine learning instead of a rule-based feature point extraction algorithm.
  • Figure 3 is a diagram showing a material image as a node in an embodiment of the present invention.
  • FIG. 3 is a conceptual diagram illustrating a material image as a node in a structure of a multi-depth image, not a screen in which each material image is actually displayed in the image viewer.
  • FIG. 4 is a diagram illustrating a result of determining a degree of similarity between an entire image of a car and another image in an embodiment of the present invention.
  • the similarity degree between the whole image of the car and the wheel image was calculated to be 20%.
  • the degree of similarity with the headlight image is 15%, the similarity with the bulb image is 10%, the similarity with the image of the reflector is 5%, the similarity with the tire wheel image is 15%, the similarity with the tire image is 5%
  • the similarity with the image of the building is 0%, the similarity with the window image is 0%, the similarity with the main image is 0%, the similarity with the doorbell image is 0%, the similarity with the image of the handle is 0% ,
  • the similarity with the brick image was 0%, and the similarity with the wall image was calculated as 0%.
  • FIG. 5 is a diagram illustrating a result of determining similarity between a wheel image and another image according to an embodiment of the present invention.
  • the similarity between the wheel image and the entire image of the automobile was calculated to be 20%.
  • the degree of similarity with the headlight image is 0%
  • the similarity with the bulb image is 0%
  • the similarity with the image of the reflector is 0%
  • the similarity with the tire wheel image is 50%
  • the similarity with the tire image is 30%
  • the similarity with the image of the building is 0%
  • the similarity with the window image is 0%
  • the similarity with the main image is 0%
  • the similarity with the doorbell image is 0%
  • the similarity with the image of the handle is 0%
  • the similarity with the brick image was 0%
  • the similarity with the wall image was calculated as 0%.
  • an image having a large number of images whose similarity degree is equal to or more than the minimum similarity value is located at a parent node. 4 and 5, it is assumed that the minimum similarity value is 5%.
  • the minimum similarity value is 5%.
  • FIGS. 4 and 5 there are six images with a similarity of 5% or more in comparison with the entire image of a car, but three images with a similarity of 5% or more in comparison with a wheel image. In this case, the entire image of the car is placed at the parent node of the wheel image. As a result, the wheel image is inserted into the car image.
  • FIG. 6 is a diagram illustrating a result of determining similarity between an entire building image and another image according to an exemplary embodiment of the present invention.
  • the similarity between the whole image of the building and the whole image of the car was calculated as 0%.
  • the degree of similarity to the image of the headlight is 0%
  • the degree of similarity to the image of the bulb is 0%
  • the degree of similarity to the image of the reflector is 0%
  • the degree of similarity to the image of the tire wheel is 0%
  • Similarity with the wheel image is 0%
  • similarity with the window image is 20%
  • similarity with the main image is 25%
  • similarity with the doorbell image is 5%
  • similarity with the handle image is 5%
  • the similarity with the brick image is 5%
  • the similarity with the wall image is calculated as 25%.
  • FIG. 7 is a diagram illustrating a result of determining similarity between a main image and another image according to an exemplary embodiment of the present invention.
  • the similarity between the main image and the whole image of the automobile was calculated as 0%.
  • the degree of similarity to the image of the headlight is 0%
  • the degree of similarity to the image of the bulb is 0%
  • the degree of similarity to the image of the reflector is 0%
  • the degree of similarity to the image of the tire wheel is 0%
  • Similarity with the wheel image is 0%
  • similarity with the window image is 5%
  • similarity with the image of the building is 25%
  • similarity with the doorbell image is 10%
  • similarity with the handle image is 10%
  • the similarity with the brick image was 0%
  • the similarity with the wall image was calculated as 0%.
  • the minimum similarity value is 5%
  • FIGS. 6 and 7 there are six images with a similarity of 5% or more compared with the entire image of the building, but four images with a similarity of 5% or more are compared with the main image.
  • the entire image of the building is placed in the parent node of the main image. That is, the main image is inserted into the entire image of the building.
  • the degree of similarity is determined with respect to all the material images by the method shown in FIGS.
  • a multi-depth image is a structure in which a plurality of images are connected in a tree structure. As long as multiple images are linked in a tree structure, images with no relevance can be multi-depth images even if they are connected to each other. However, multi-depth images that link images that have no relevance are less useful. Therefore, it is desirable to create a multi-depth image by connecting images having high similarity to each other.
  • a multi-depth image when a multi-depth image is automatically generated from a plurality of material images, a multi-depth image can be generated by connecting material images having high degree of similarity to each other.
  • a multi-depth image can be generated by connecting a material image having a high degree of similarity first and then connecting a material image having a lower degree of similarity to the next.
  • a method for automatically generating multi-depth-of-view images is a method for automatically creating multi-depth images by connecting material images having a similarity of 30% or more and then connecting material images having a similarity of 20% or more, To generate a multi-depth image.
  • FIG. 8 is a diagram illustrating a process of connecting material images having a degree of similarity of 30% or more in a tree structure according to an embodiment of the present invention.
  • the degree of similarity can be determined through comparison of feature points.
  • the degree of similarity can be determined based on the similarity and the number of the feature points of each material image.
  • a headlight image and a bulb image with similarity of 30% or more, a wheel image and a tire wheel image, a wheel image and a tire image, and a wall image and a brick image form a group, respectively, and images in each group are linked to form a tree structure .
  • the image having a degree of similarity of 5% or more as compared with the wheel image is three of the whole image of the car, the tire wheel image, and the tire image (see FIG.
  • an image having a degree of similarity of 5% or more is two pieces of a wheel image and a tire image (not shown).
  • the wheel image can be located at the parent node when linking the wheel image (three images with similarity above the minimum similarity value) and the tire wheel image (two images with similarity above the minimum similarity value).
  • a tree structure can be generated using the result of recognizing an object in each material image without judging the similarity between the material images.
  • a headlight image For example, if an object named 'bulb' and a 'reflector' are recognized in a headlight image, an object called 'bulb' is recognized in a bulb image, and an object named 'reflector' is recognized in a reflector image, You can link images with mirror images. That is, a headlight image having a large number of recognized objects becomes a parent node.
  • FIG. 9 is a diagram illustrating a process of connecting material images having a degree of similarity of 20% or more in a tree structure according to an embodiment of the present invention.
  • the total image and the wheel image, the whole building image and the window image, the whole image and the main image of the building, and the whole building image and the wall image of the material image having the similarity of 20% or more have not yet formed a tree structure,
  • the images in each group are linked together to create a tree structure.
  • the image having a degree of similarity of 5% or more in comparison with the entire image of the automobile is six of a wheel image, a headlight image, a bulb image, a reflector image, a tire wheel image, and a tire image ).
  • an image having a degree of similarity of 5% or more is three images of a car full image, a tire wheel image, and a tire image (see FIG. 5).
  • the entire image of the car (six images with similarity above the minimum similarity value) and the wheel image (three images with similarity above the minimum similarity value)
  • the entire image of the car can be placed at the parent node.
  • FIG. 10 is a diagram illustrating a process of connecting material images having a degree of similarity of 10% or more in a tree structure according to an embodiment of the present invention.
  • the whole image of the car and the headlight image, the main image and the doorbell image, and the main image and the handle image which have not yet generated a tree structure form a group, Thereby creating a tree structure.
  • FIG. 11 is a diagram illustrating a process of generating a multi-depth image with reference to a tree structure according to an embodiment of the present invention.
  • a multi-depth image is created by inserting the image corresponding to the child node into the image corresponding to the parent node using the tree structure.
  • the multi-depth image can be generated by searching an area corresponding to the child node image in the parent node image of the tree structure, and inserting the child node image in the retrieved area in the parent node image.
  • the headlight image and the wheel image are located below the entire image of the car, the bulb image and the reflector image are located below the headlight image, and the tire wheel image and tire image do.
  • a headlight image can be inserted in a position where the feature of the headlight image is found in the whole image of the car. For example, after comparing the feature points extracted from the whole image of the car with the feature points extracted from the headlight image by matching the whole image of the car with the headlight image, if a feature point of the headlight image is found at a specific position of the entire image of the car, You can insert a headlight image.
  • the headlight image is matched with the bulb image and the minutiae extracted from the headlight image is compared with the minutiae extracted from the bulb image, if the minutiae point of the bulb image is found at a specific position of the headlight image, can do.
  • the tire image can be inserted into the corresponding position when the feature point of the tire image is found at a specific position of the wheel image .
  • a multi-depth image can be generated by inserting images of each child node into all parent node images of the tree structure.
  • FIG. 12 is a flowchart illustrating a method for automatically generating a multi-depth image according to an exemplary embodiment of the present invention.
  • a method of automatically generating a multi-depth-of-view image includes a step of selecting a plurality of images (S1210), a step of connecting at least a part of a plurality of images by a tree structure (S1220) And a step (S1230) of creating a multi-depth image in which at least some of the images are hierarchically inserted by inserting the lower node image into the upper node image in the tree structure.
  • S1210 to S1230 are sequentially executed in Fig. 12, this is merely an example of the technical idea of the present invention, and the execution of S1210 to S1230 is not limited to the time series order. Those skilled in the art can change the order of S1210 to S1230 without departing from the essential characteristics of the present invention, omit one or more steps in S1210 to S1230, or change one or more of S1210 to S1230
  • the method of FIG. 12 may be variously modified and modified such that the steps are executed in parallel.
  • the method described in the above embodiments can be implemented as a computer-readable recording medium readable by an electronic apparatus such as a computer or a smart phone including a processor.
  • a recording medium readable by a computer or a smart phone includes all kinds of recording devices in which data that can be read by a computer system is stored. That is, the recording medium that can be read by a computer or a smart phone includes a magnetic storage medium (e.g., a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (e.g., CD- (E.g., USB, SSD), and the like.
  • code that is distributed to networked computer systems and readable by a computer or smartphone in a distributed manner can be stored and executed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 전자 장치에서 수행되는 멀티 심도 이미지 생성 방법에 관한 것으로, 복수개의 이미지를 선정하는 단계, 복수개의 이미지를 서로 비교하여 복수개의 이미지 중 적어도 일부를 트리 구조로 연결하는 단계 및 트리 구조에서 하위 노드 이미지를 상위 노드 이미지에 삽입함으로써, 적어도 일부의 이미지들이 계층적으로 삽입된 멀티 심도 이미지를 생성하는 단계를 포함한다.

Description

멀티 심도 이미지의 자동 생성 방법
본 발명은 멀티 심도 이미지의 자동 생성 방법에 관한 것이다. 구체적으로 본 발명은, 복수개의 이미지를 비교하여 멀티 심도 이미지를 자동으로 생성하는 방법에 대한 것이다.
이 부분에 기술된 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
전자 장치를 이용하여 이미지 파일을 열었을 때 이미지 파일의 특정 부분에 대한 자세한 정보 또는 확대된 이미지가 요구될 수 있다. 예를 들어 자동차 이미지의 경우, 헤드라이트, 바퀴 등과 같은 특정 부분에 대한 보다 자세한 이미지가 요구될 수 있다.
스마트폰 등과 같은 휴대용 전자 장치의 경우 화면이 작으므로 전체 이미지에서 특정 부분의 자세한 이미지를 확인하기 어렵다. 특정 부분의 자세한 이미지를 확인하기 위하여 해당 부분의 이미지를 확대하는 방법을 이용할 수 있으나, 이는 단순히 픽셀의 크기를 늘리는 것에 불과하므로 만족할 만한 해상도를 얻을 수 없고, 나아가 기존 이미지를 단순 확대하는 것 이외의 추가적인 정보를 얻을 수 없다는 문제가 있다.
이러한 문제를 해결하기 위하여 본 발명자는 기본이 되는 하나의 이미지(이하, '메인 이미지')에 추가적인 정보를 제공하는 다른 이미지(이하, '삽입 이미지')의 삽입이 가능한 새로운 포맷의 이미지(이하, '멀티 심도 이미지') 및 그 생성 방법에 대한 발명을 한국 특허 제10-1501028호(2015.03.04 등록)로 등록받은 바 있다.
동 문헌은 멀티 심도 이미지의 정의와, 멀티 심도 이미지의 생성 및 편집을 위한 사용자 인터페이스를 개시하고 있다. 그러나 동 문헌은 사용자가 수작업으로 삽입 이미지를 선택한 후 모 이미지의 적절한 위치에 삽입하여 멀티 심도 이미지를 생성하는 방법을 개시하고 있을 뿐, 자동으로 멀티 심도 이미지를 생성하는 방법은 개시하지 못하고 있다.
본 발명은 동 발명의 후속 발명으로서, 주어진 복수개의 복수개의 이미지를 비교하여 자동으로 멀티 심도 이미지를 생성하는 방법을 개시한다.
본 발명이 해결하고자 하는 기술적 과제는 사용자가 수작업으로 멀티 심도 이미지를 생성할 필요 없이 복수개의 이미지를 상호 비교하여 자동으로 멀티 심도 이미지를 생성하는 방법을 제공하기 위한 것이다.
본 발명이 해결하고자 하는 기술적 과제는 전술한 기술적 과제에 한정되지 않고 언급되지 않은 다른 기술적 과제들이 아래의 기재로부터 통상의 기술자에게 자명하게 도출될 수 있을 것이다.
본 발명의 일 실시예에 의하면, 전자 장치에서 수행되는 멀티 심도 이미지 생성 방법에 있어서, 복수개의 이미지를 선정하는 단계, 복수개의 이미지를 서로 비교하여 복수개의 이미지 중 적어도 일부를 트리 구조로 연결하는 단계 및 트리 구조에서 하위 노드 이미지를 상위 노드 이미지에 삽입함으로써, 적어도 일부의 이미지들이 계층적으로 삽입된 멀티 심도 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법을 제공한다.
본 발명의 일 실시예에 의하면 복수개의 이미지를 상호 비교하여 유사도를 분석함으로써 자동으로 멀티 심도 이미지를 생성할 수 있다.
도 1은 멀티 심도 이미지를 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에서 재료 이미지 선정 과정을 예시한 도면이다.
도 3은 본 발명의 일 실시예에서 재료 이미지를 노드로 표시한 도면이다.
도 4는 본 발명의 일 실시예에서 자동차 전체 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
도 5는 본 발명의 일 실시예에서 바퀴 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
도 6은 본 발명의 일 실시예에서 건물 전체 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
도 7은 본 발명의 일 실시예에서 대문 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
도 8은 본 발명의 일 실시예에서 유사도가 30 % 이상인 재료 이미지를 트리 구조로 연결시키는 과정을 예시한 도면이다.
도 9는 본 발명의 일 실시예에서 유사도가 20 % 이상인 재료 이미지를 트리 구조로 연결시키는 과정을 예시한 도면이다.
도 10은 본 발명의 일 실시예에서 유사도가 10 % 이상인 재료 이미지를 트리 구조로 연결시키는 과정을 예시한 도면이다.
도 11은 본 발명의 일 실시예에서 트리 구조를 참고하여 멀티 심도 이미지를 생성하는 과정을 예시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 멀티 심도 이미지 자동 생성 방법을 예시한 순서도다.
이하, 본 발명의 일 실시예를 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되어 있더라도 가능한 한 동일한 부호를 사용하고 있음에 유의해야 한다. 또한 본 발명의 일 실시예를 설명함에 있어서 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명을 생략한다.
본 발명의 일 실시예의 구성요소를 설명함에 있어서 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐 그 부호에 의해 해당 구성요소의 본질, 차례, 순서 등이 한정되는 것은 아니다. 본 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 해당 부분이 다른 구성요소를 부가하는 것을 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. '~부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 '하드웨어', '소프트웨어' 또는 '하드웨어와 소프트웨어의 결합'으로 구현될 수 있다.
1. 멀티 심도 이미지의 구조
도 1은 멀티 심도 이미지의 구조를 설명하기 위한 개념도이다.
도 1은 이미지 뷰어에서 멀티 심도 이미지가 실제로 표시된 화면이 아니라 멀티 심도 이미지의 구조를 표현한 개념도이다.
도 1에 나타난 것과 같이, 멀티 심도 이미지는 복수개의 이미지가 트리 구조로 연결된 구조이다. 트리 구조에서 최상위에 위치하는 이미지는 메인 이미지이다. 도 1에서는 자동차의 전체적인 이미지를 메인 이미지로 예시하였다.
메인 이미지 이외의 이미지는 삽입 이미지이다. 트리 구조에서 루트에는 메인 이미지가 위치하고, 하나 이상의 삽입 이미지는 서로 부모, 형제 또는 자식의 관계를 가지고 메인 이미지 아래에 연결되어 있다.
메인 이미지는 0의 깊이를 가지고, 메인 이미지에 직접 삽입된 삽입 이미지는 1의 깊이를 가진다. 예컨대 자동차 전체가 표시된 이미지(이하, '자동차 전체 이미지')에 헤드라이트가 표시된 이미지(이하, '헤드라이트 이미지') 및 바퀴가 표시된 이미지(이하, '바퀴 이미지')를 삽입할 수 있으며, 이 경우 헤드라이트 이미지 및 바퀴 이미지는 1의 깊이를 가진다.
삽입 이미지에 삽입된 다른 삽입 이미지는 2 이상의 깊이를 가진다. 예컨대 1의 깊이를 가지는 헤드라이트 이미지에 전구가 표시된 이미지(이하, '전구 이미지') 및 반사경이 표시된 이미지(이하, '반사경 이미지')를 삽입할 수 있으며, 이 경우 전구 이미지 및 반사경 이미지는 2의 깊이를 가진다. 또한 1의 깊이를 가지는 바퀴 이미지에 타이어휠이 표시된 이미지(이하, '타이어휠 이미지') 및 타이어가 표시된 이미지(이하, '타이어 이미지')를 삽입할 수 있으며, 이 경우 타이어휠 이미지 및 타이어 이미지는 2의 깊이를 가진다.
이와 같은 방식으로 계속하여 이미지를 삽입할 수 있다. 예컨대 전구 이미지, 반사경 이미지, 타이어휠 이미지 또는 타이어 이미지에 다른 이미지를 삽입할 수 있으며, 이 때 삽입되는 이미지는 3의 깊이를 가지게 된다.
이와 같이 트리 구조로 연결된 복수의 이미지들은 이미지들 간의 연결 관계에 대한 속성과 함께 하나의 파일로 저장되어 멀티 뎁스 이미지를 구성하게 된다.
2. 기본 인터페이스
멀티 심도 이미지에서 루트 노드의 이미지가 '메인 이미지'이고, 메인 이미지를 제외한 모든 이미지가 '삽입 이미지'이다. 메인 이미지에 삽입 이미지를 삽입하기 위한 사용자 인터페이스는 다음과 같이 구현될 수 있다.
① 사용자로부터 메인 이미지를 선택하는 입력을 수신한다.
② 사용자로부터 삽입 이미지를 선택하는 입력을 수신한다.
③ 메인 이미지 및 작은 크기로 아이콘화된 삽입 이미지를 화면에 표시한다.
④ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑤ 사용자로부터 드래그 입력의 종료를 수신한다.
⑥ 터치 입력이 종료된 위치에 삽입 이미지를 삽입한다.
삽입 이미지에 다른 삽입 이미지를 삽입하기 위한 사용자 인터페이스는 다음과 같이 구현될 수 있다.
① 사용자로부터 메인 이미지를 선택하는 입력을 수신한다.
② 사용자로부터 삽입 이미지를 선택하는 입력을 수신한다.
③ 메인 이미지 및 작은 크기로 아이콘화된 삽입 이미지를 화면에 표시한다.
④ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑤ 아이콘화된 삽입 이미지가 기존의 삽입 이미지가 삽입된 위치에 드래그되면 메인 이미지 대신 기존의 삽입 이미지를 화면에 표시한다.
⑥ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑦ 사용자로부터 드래그 입력의 종료를 수신한다.
⑧ 터치 입력이 종료된 위치에 삽입 이미지를 삽입한다. 기존의 삽입 이미지의 깊이가 N이면 새롭게 삽입된 이미지의 깊이는 N+1이 된다.
이상의 사용자 인터페이스에 의하면 멀티 심도 이미지의 생성 및 편집 시 원터치(one touch) 또는 원클릭(one click)으로 메인 이미지에 삽입 이미지를 삽입할 수 있다.
그러나 사용자 인터페이스를 아무리 개선해도 사용자가 직접 삽입할 이미지를 선택하여 적절한 위치에 삽입하여야 하는 특성상 멀티 심도 이미지의 생성에 많은 시간이 소요된다. 즉, 수작업으로 멀티 심도 이미지를 생성하는 경우 멀티 심도 이미지의 생산성이 크게 떨어지므로, 멀티 심도 이미지의 생성을 자동화시킬 필요가 있다.
이하, 본 발명의 일 실시예는 복수개의 이미지를 상호 비교하여 자동으로 멀티 심도 이미지를 생성하는 방법을 제공한다.
3. 재료 이미지 선정
멀티 심도 이미지를 자동으로 생성하기 위한 사전 작업으로서 재료가 될 복수개의 이미지(이하, '재료 이미지')를 선정하여야 한다. 재료 이미지는 멀티 심도 이미지 포맷이 아닌 일반 이미지 포맷일 수 있다. 예컨대 재료 이미지는 BMP, JPG, JPEG, GIF, PNG, TIF, TIFF 등의 이미지 포맷일 수 있다.
재료 이미지 사이에 연관성이 낮을 경우 결과물로서 생성되는 멀티 심도 이미지의 수가 적으므로 비효율적이다. 따라서 재료 이미지 준비 단계에서 최소한의 연관성이 있는 재료 이미지를 선정할 필요가 있다.
최소한의 연관성이 있는 재료 이미지 선정에는 다양한 방법이 사용될 수 있다. 예컨대 이미지의 저장 위치, 이미지에 포함된 메타데이터 정보 등을 이용하여 재료 이미지를 선정할 수 있다.
이미지의 저장 위치를 이용하여 재료 이미지를 선정하는 방법으로서, 동일한 폴더에 저장된 이미지들을 재료 이미지로 선정할 수 있다. 또는, 특정 폴더의 하위 폴더에 저장된 모든 이미지들을 재료 이미지로 선정할 수 있다. 또는, USB 등 특정 저장매체에 저장된 모든 이미지들을 재료 이미지로 선정할 수 있다.
이미지에 포함된 메타데이터를 이용하여 재료 이미지를 선정하는 방법으로서, 각 이미지가 생성된 공간적 위치 정보 또는 시간 정보를 사용하여 재료 이미지를 선정할 수 있다.
일부 이미지 파일에는 이미지의 특성을 확인하는 데 사용할 수 있는 메타데이터가 있다. 예를 들어 디지털 카메라로 촬영된 사진에는 촬영자 정보, 촬영 시간, 촬영 장소에 대한 GPS 정보, 사진 촬영에 사용한 카메라의 제조업체 및 모델명 등의 정보가 기재된 메타데이터가 있다.
인접한 시간에 촬영된 사진은 상호 연관성이 높을 확률이 높으므로, 복수개의 사진 중 메타데이터에 기재된 촬영 시간이 기 설정된 시간 이하인 사진들을 재료 이미지로 선정할 수 있다.
또는, 인접한 장소에서 촬영된 사진은 상호 연관성이 높을 확률이 높으므로, 복수개의 사진 중 메타데이터에 기재된 GPS 좌표가 기 설정된 거리 이하인 사진들을 재료 이미지로 선정할 수 있다.
도 2는 본 발명의 일 실시예에서 재료 이미지 선정 과정을 예시한 도면이다.
본 발명의 일 실시예를 설명하기 위하여, 사용자가 자동차의 전체적인 사진, 해당 자동차의 각 부분에 대한 근접 사진, 자동차 근처에 있는 건물의 전체적인 사진 및 해당 건물의 각 부분에 대한 근접 사진을 촬영하였다고 가정하자. 구체적으로, 자동차 전체 이미지, 헤드라이트 이미지, 전구 이미지, 반사경 이미지, 바퀴 이미지, 타이어휠 이미지, 타이어 이미지, 건물 전체 이미지, 창문 이미지, 대문 이미지, 초인종 이미지, 손잡이 이미지, 벽 이미지 및 벽돌 이미지의 14장의 사진을 촬영하였다고 가정하자.
한편, 사용자는 다른 시간과 다른 장소에서 다른 사진을 촬영하여 위 14장의 사진과 동일한 폴더에 저장하였다. 예를 들어 사용자는 레스토랑에서 촬영한 여러 장의 사진, 백화점에서 촬영한 여러 장의 사진, 여행지에서 촬영한 여러 장의 사진을 위 14장의 사진을 저장한 폴더와 동일한 폴더에 저장하였다. 도 2(a)는 동 폴더에 저장된 파일 목록을 예시한 것이다.
저장된 사진 중 재료 이미지를 선정하기 위한 방법으로서, 이미지에 포함된 메타데이터를 이용하여 인접한 시간에 인접한 장소에서 촬영된 사진을 재료 이미지로 선정할 수 있다. 그 결과 레스토랑에서 촬영한 여러 장의 사진, 백화점에서 촬영한 여러 장의 사진, 여행지에서 촬영한 여러 장의 사진을 제외하고, 자동차에 대한 사진과 건물에 대한 사진 14장이 재료 이미지로 선정될 수 있다. 도 2(b)는 동 폴더에 저장된 파일 중 재료 이미지로 선정된 파일의 목록을 예시한 것이다.
4. 유사도 판단 방법
복수개의 재료 이미지로부터 멀티 심도 이미지를 자동으로 생성할 때 유사도가 높은 재료 이미지를 서로 연결하여 멀티 심도 이미지를 생성할 수 있다. 이 때 유사도 판단 방법으로서 특징점 알고리즘을 이용할 수 있다.
특징점(feature point)은 디지털 이미지의 특징을 나타내는 점으로서 다른 점들과 구별될 수 있는 점을 의미한다. 특징점은 일반적으로 물체의 경계, 꼭지점 등에 위치한다. 이미지에 존재하는 국소 패턴(local patterns)도 특징점이 될 수 있다. 기타 디지털 이미지의 특징을 나타내는 점으로서 다른 점들과 구별될 수 있는 점은 모두 특징점이 될 수 있다.
이미지의 크기와 내용에 따라 달라질 수 있으나 보통 이미지 하나 당 수천개의 특징점이 추출된다. 특징점 추출은 이미지 매칭에서 매우 중요한 역할을 한다. 이미지 매칭은 특징점을 이용하여 동일한 물체를 촬영한 두 개의 사진에서 대응되는 부분을 찾아내는 작업인데, 물체 인식, 3차원 구조 계산, 스테레오 매칭, 동작 추적, 파노라마 이미지 생성 등에서 다양하게 응용되고 있다.
특징점은 물체의 경계, 꼭지점, 국소 패턴 등에서 나타나기 때문에, 동일한 물체를 촬영한 사진이라 하더라도 이미지의 스케일이 달라지거나, 물체를 촬영한 관점이 변화하는 경우 달라지기 쉽다. 이러한 문제를 해결하기 위하여 이미지의 밝기, 주변 조명 변화, 이미지의 스케일 변화, 회전, 왜곡, 3D 관점 변화 등에 강인한 다양한 특징점 추출 알고리즘이 개발되고 있다.
특징점 추출 알고리즘의 예로서, Harris는 특징점으로 하여금 모서리(corner)를 검출하는 기법을 제안하였다. Lindeberg는 비례 공간(scale space)을 사용하는 방법으로 영상의 구조를 해석하여 blob(비슷한 특징을 가지고 있는 인접한 픽셀들의 집합)의 검출과 자동 스케일 선택을 하는 기법을 제안하였다. Schmid는 Harris Corner Detector에서 검출한 특징점에 그 점의 화소치와 미분점으로부터 산출한 값을 특징량점으로 사용하는 기법을 제안하였다.
1999년 Lowe는 Schmid의 국소 영역 특징량 개념을 확장하여 영상의 스케일 변화와 회전에도 변하지 않는 특징점을 기술할 수 있는 획기적인 특징점 추출 알고리즘인 Scale-Invariant Feature Transform(SIFT)를 제안하였다. SIFT를 확장한 기법으로서, PCA(Principal Component Analysis)를 이용하여 구배(gradient) 정보를 부분 공간에 투영하여 매칭 정도를 향상한 PCA-SIFT와, SIFT의 특징량 중 배경의 영향을 경감시킨 BSIFT 등과 같은 기법도 개발되었다.
본 발명의 일 실시예에 따른 방법은 다양한 특징점 추출 알고리즘을 이용하여 각 이미지에서 특징점을 추출한 후 두 개의 이미지의 유사도를 판단할 수 있다.
또는, 룰 베이스(rule-based)의 특징점 추출 알고리즘 대신 머신러닝을 이용한 기법으로 두 개의 이미지의 유사도를 판단할 수 있다.
이하, 유사도 100%는 완전히 동일한 이미지를 의미하고, 유사도 0%는 비유사한 이미지를 의미하는 것으로 가정한다.
5. 유사도 판단 결과
도 3은 본 발명의 일 실시예에서 재료 이미지를 노드로 표시한 도면이다.
도 3은 이미지 뷰어에서 각각의 재료 이미지가 실제로 표시된 화면이 아니라 단지 멀티 심도 이미지의 구조에서 재료 이미지를 노드로 표현한 개념도임에 유의하여야 한다.
도 4는 본 발명의 일 실시예에서 자동차 전체 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
유사도 판단 결과, 자동차 전체 이미지와 바퀴 이미지와의 유사도는 20 %로 계산되었다. 헤드라이트 이미지와의 유사도는 15 %이고, 전구 이미지와의 유사도는 10 %이며, 반사경 이미지과의 유사도는 5 %이고, 타이어휠 이미지과의 유사도는 15 %이며, 타이어 이미지와의 유사도는 5 %이고, 건물 전체 이미지와의 유사도는 0 %이며, 창문 이미지와의 유사도는 0 %이고, 대문 이미지와의 유사도는 0 %이며, 초인종 이미지와의 유사도는 0 %이고, 손잡이 이미지와의 유사도는 0 %이며, 벽돌 이미지와의 유사도는 0 %이고, 벽 이미지와의 유사도는 0 %로 계산되었다. 자동차 전체 이미지와 비교하여 유사도가 5 % 이상인 이미지는 6개이다.
도 5는 본 발명의 일 실시예에서 바퀴 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
유사도 판단 결과, 바퀴 이미지와 자동차 전체 이미지와의 유사도는 20 %로 계산되었다. 헤드라이트 이미지와의 유사도는 0 %이고, 전구 이미지와의 유사도는 0 %이며, 반사경 이미지과의 유사도는 0 %이고, 타이어휠 이미지과의 유사도는 50 %이며, 타이어 이미지와의 유사도는 30 %이고, 건물 전체 이미지와의 유사도는 0 %이며, 창문 이미지와의 유사도는 0 %이고, 대문 이미지와의 유사도는 0 %이며, 초인종 이미지와의 유사도는 0 %이고, 손잡이 이미지와의 유사도는 0 %이며, 벽돌 이미지와의 유사도는 0 %이고, 벽 이미지와의 유사도는 0 %로 계산되었다. 바퀴 이미지와 비교하여 유사도가 5 % 이상인 이미지는 3개이다.
후술하겠지만, 유사도가 최소 유사값 이상인 이미지의 개수가 많은 이미지가 부모 노드에 위치한다. 최소 유사값이 5 %라고 가정하고, 도 4 및 5를 참고하였을 때, 자동차 전체 이미지와 비교하여 유사도가 5 % 이상인 이미지는 6개이지만 바퀴 이미지와 비교하여 유사도가 5 % 이상인 이미지는 3개이다. 이 경우 자동차 전체 이미지를 바퀴 이미지의 부모 노드에 위치시킨다. 그 결과 바퀴 이미지가 자동차 이미지에 삽입되는 구조가 된다.
도 6은 본 발명의 일 실시예에서 건물 전체 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
유사도 판단 결과, 건물 전체 이미지와 자동차 전체 이미지와의 유사도는 0 %로 계산되었다. 헤드라이트 이미지와의 유사도는 0 %이고, 전구 이미지와의 유사도는 0 %이며, 반사경 이미지과의 유사도는 0 %이고, 타이어휠 이미지과의 유사도는 0 %이며, 타이어 이미지와의 유사도는 0 %이고, 바퀴 이미지와의 유사도는 0 %이며, 창문 이미지와의 유사도는 20 %이고, 대문 이미지와의 유사도는 25 %이며, 초인종 이미지와의 유사도는 5 %이고, 손잡이 이미지와의 유사도는 5 %이며, 벽돌 이미지와의 유사도는 5 %이고, 벽 이미지와의 유사도는 25 %로 계산되었다. 건물 전체 이미지와 비교하여 유사도가 5 % 이상인 이미지는 6개이다.
도 7은 본 발명의 일 실시예에서 대문 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
유사도 판단 결과, 대문 이미지와 자동차 전체 이미지와의 유사도는 0 %로 계산되었다. 헤드라이트 이미지와의 유사도는 0 %이고, 전구 이미지와의 유사도는 0 %이며, 반사경 이미지과의 유사도는 0 %이고, 타이어휠 이미지과의 유사도는 0 %이며, 타이어 이미지와의 유사도는 0 %이고, 바퀴 이미지와의 유사도는 0 %이며, 창문 이미지와의 유사도는 5 %이고, 건물 전체 이미지와의 유사도는 25 %이며, 초인종 이미지와의 유사도는 10 %이고, 손잡이 이미지와의 유사도는 10 %이며, 벽돌 이미지와의 유사도는 0 %이고, 벽 이미지와의 유사도는 0 %로 계산되었다. 대문 이미지와 비교하여 유사도가 5 % 이상인 이미지는 4개이다.
최소 유사값이 5 %라고 가정하고, 도 6 및 7을 참고하였을 때, 건물 전체 이미지와 비교하여 유사도가 5 % 이상인 이미지는 6개이지만 대문 이미지와 비교하여 유사도가 5 % 이상인 이미지는 4개이다. 이 경우 건물 전체 이미지를 대문 이미지의 부모 노드에 위치시킨다. 즉, 대문 이미지가 건물 전체 이미지에 삽입되는 구조가 된다.
한편, 도 4 내지 7과 같은 방법으로 모든 재료 이미지에 대하여 유사도를 판단한다.
6. 트리 구조 생성
멀티 심도 이미지는 복수개의 이미지가 트리 구조로 연결된 구조이다. 복수개의 이미지가 트리 구조로 연결되어 있기만 하면 아무런 연관성이 없는 이미지들이 서로 연결되어 있어도 멀티 심도 이미지가 될 수 있다. 그러나 아무런 연관성이 없는 이미지들을 연결한 멀티 심도 이미지는 활용성이 낮다. 따라서 상호 유사도가 높은 이미지를 서로 연결시켜 멀티 심도 이미지를 생성하는 것이 바람직하다.
이러한 관점에서, 복수개의 재료 이미지로부터 멀티 심도 이미지를 자동으로 생성할 때 이미지 매칭 결과 유사도가 높은 재료 이미지를 서로 연결하는 방법으로 멀티 심도 이미지를 생성할 수 있다.
구체적으로, 유사도가 높은 재료 이미지를 먼저 연결시키고, 유사도가 그보다 낮은 재료 이미지를 다음에 연결시키는 방법으로 멀티 심도 이미지를 생성할 수 있다.
본 발명의 일 실시예에 따른 멀티 심도 이미지 자동 생성 방법은, 먼저 유사도가 30 % 이상인 재료 이미지를 연결시키고, 다음으로 유사도가 20 % 이상인 재료 이미지를 연결시키며, 다음으로 유사도가 10 % 이상인 재료 이미지를 연결시키는 방법으로 멀티 심도 이미지를 생성하는 경우를 예로 들어 설명한다.
도 8은 본 발명의 일 실시예에서 유사도가 30 % 이상인 재료 이미지를 트리 구조로 연결시키는 과정을 예시한 도면이다.
도 8에 나타난 것과 같이, 유사도가 30 % 이상인 재료 이미지로서 헤드라이트 이미지와 전구 이미지(유사도 40 %), 바퀴 이미지와 타이어휠 이미지(유사도 50 %), 바퀴 이미지와 타이어 이미지(유사도 30 %), 및 벽 이미지와 벽돌 이미지(유사도 50 %)가 검색되었다. 전술한 것과 같이 유사도는 특징점 비교를 통해 판단할 수 있다. 예를 들어 각 재료 이미지의 특징점들의 유사성 및 개수에 근거하여 유사도를 판단할 수 있다.
유사도가 30 % 이상인 헤드라이트 이미지와 전구 이미지, 바퀴 이미지와 타이어휠 이미지, 바퀴 이미지와 타이어 이미지, 및 벽 이미지와 벽돌 이미지는 각각 그룹을 형성하고, 각 그룹에 있는 이미지들은 서로 연결되어 트리 구조를 생성한다.
각 그룹에 있는 이미지들끼리 연결하여 트리 구조를 생성할 때, 부모 노드와 자식 노드를 결정하여야 한다. 각 그룹에 있는 이미지 중 어느 이미지가 부모 노드가 되고 어느 이미지가 자식 노드가 되는지 판단함에 있어 각 이미지에 포함된 객체들의 유사성 및 개수를 고려할 수 있다.
일례로 도 8에서 같은 그룹에 있는 바퀴 이미지와 타이어휠 이미지를 트리 구조로 연결함에 있어 각 이미지를 다른 재료 이미지와 비교하였을 때 유사도가 최소 유사값 이상인 다른 재료 이미지의 개수가 많은 이미지를 부모 노드에 위치시킬 수 있다.
최소 유사값을 5 %로 가정할 때, 바퀴 이미지와 비교하여 유사도가 5 % 이상인 이미지는 자동차 전체 이미지, 타이어휠 이미지 및 타이어 이미지의 3개이다(도 5 참고). 한편, 타이어휠 이미지에 대해서는 유사도가 5 % 이상인 이미지가 바퀴 이미지와 타이어 이미지의 2개라고 하자(미도시).
이 경우 바퀴 이미지(유사도가 최소 유사값 이상인 이미지가 3개)와 타이어휠 이미지(유사도가 최소 유사값 이상인 이미지가 2개)를 연결할 때 바퀴 이미지를 부모 노드에 위치시킬 수 있다.
한편, 각 재료 이미지 사이의 유사도를 판단하지 않고 각 재료 이미지에서 객체를 인식한 결과를 이용하여 트리 구조를 생성할 수도 있다.
예컨대 헤드라이트 이미지에서 '전구'와 '반사경'이라는 객체가 인식되었고, 전구 이미지에서 '전구'라는 객체가 인식되었으며, 반사경 이미지에서 '반사경'이라는 객체가 인식되었다면, 헤드라이트 이미지의 자식 노드로서 전구 이미지와 반사경 이미지를 연결할 수 있다. 즉, 인식된 객체의 개수가 많은 헤드라이트 이미지가 부모 노드가 된다.
마찬가지로 바퀴 이미지에서 '타이어휠'과 '타이어'라는 객체가 인식되었고, 타이어휠 이미지에서 '타이어휠'이라는 객체가 인식되었으며, 타이어 이미지에서 '타이어'라는 객체가 인식되었다면, 바퀴 이미지의 자식 노드로서 타이어휠 이미지와 타이어 이미지를 연결할 수 있다. 즉, 인식된 객체의 개수가 많은 헤드라이트 이미지가 부모 노드가 된다.
도 9는 본 발명의 일 실시예에서 유사도가 20 % 이상인 재료 이미지를 트리 구조로 연결시키는 과정을 예시한 도면이다.
도 9에 나타난 것과 같이, 유사도가 20 % 이상인 재료 이미지 중 아직 트리 구조를 생성하지 않은 이미지로서 자동차 전체 이미지와 바퀴 이미지(유사도 20 %), 건물 전체 이미지와 창문 이미지(유사도 20 %), 건물 전체 이미지와 대문 이미지(유사도 25 %), 및 건물 전체 이미지와 벽 이미지(유사도 25 %)가 검색되었다.
유사도가 20 % 이상인 재료 이미지 중 아직 트리 구조를 생성하지 않은 자동차 전체 이미지와 바퀴 이미지, 건물 전체 이미지와 창문 이미지, 건물 전체 이미지와 대문 이미지, 및 건물 전체 이미지와 벽 이미지는 각각 그룹을 형성하고, 각 그룹에 있는 이미지들은 서로 연결되어 트리 구조를 생성한다.
각 그룹에 있는 이미지들끼리 연결하여 트리 구조를 생성할 때, 부모 노드와 자식 노드를 결정하여야 한다. 각 그룹에 있는 이미지 중 어느 이미지가 부모 노드가 되고 어느 이미지가 자식 노드가 되는지 판단함에 있어 각 이미지에 포함된 객체들의 유사성 및 개수를 고려할 수 있다.
일례로 도 9에서 같은 그룹에 있는 자동차 전체 이미지와 바퀴 이미지를 트리 구조로 연결함에 있어 각 이미지를 다른 재료 이미지와 비교하였을 때 유사도가 최소 유사값 이상인 다른 재료 이미지의 개수가 많은 이미지를 부모 노드에 위치시킬 수 있다.
최소 유사값을 5 %로 가정할 때, 자동차 전체 이미지와 비교하여 유사도가 5 % 이상인 이미지는 바퀴 이미지, 헤드라이트 이미지, 전구 이미지, 반사경 이미지, 타이어휠 이미지 및 타이어 이미지의 6개이다(도 4 참고). 한편, 바퀴 이미지에 대해서는 유사도가 5 % 이상인 이미지가 자동차 전체 이미지, 타이어휠 이미지 및 타이어 이미지의 3개이다(도 5 참고).
따라서 자동차 전체 이미지(유사도가 최소 유사값 이상인 이미지가 6개)와 바퀴 이미지(유사도가 최소 유사값 이상인 이미지가 3개)를 연결할 때 자동차 전체 이미지를 부모 노드에 위치시킬 수 있다.
도 10은 본 발명의 일 실시예에서 유사도가 10 % 이상인 재료 이미지를 트리 구조로 연결시키는 과정을 예시한 도면이다.
도 10에 나타난 것과 같이, 유사도가 10 % 이상인 재료 이미지 중 아직 트리 구조를 생성하지 않은 이미지로서 자동차 전체 이미지와 헤드라이트 이미지(유사도 15 %), 대문 이미지와 초인종 이미지(유사도 10 %), 및 대문 이미지와 손잡이 이미지(유사도 10 %)가 검색되었다.
유사도가 10 % 이상인 재료 이미지 중 아직 트리 구조를 생성하지 않은 자동차 전체 이미지와 헤드라이트 이미지, 대문 이미지와 초인종 이미지, 및 대문 이미지와 손잡이 이미지는 각각 그룹을 형성하고, 각 그룹에 있는 이미지들은 서로 연결되어 트리 구조를 생성한다.
각 그룹에 있는 이미지들끼리 연결하여 트리 구조를 생성할 때, 부모 노드와 자식 노드를 결정하여야 한다. 각 그룹에 있는 이미지 중 어느 이미지가 부모 노드가 되고 어느 이미지가 자식 노드가 되는지 판단함에 있어 각 이미지에 포함된 객체들의 유사성 및 개수를 고려할 수 있다. 이는 도 8 및 9에서 설명한 것과 같으므로 자세한 설명은 생략한다.
7. 멀티 심도 이미지 생성
도 11은 본 발명의 일 실시예에서 트리 구조를 참고하여 멀티 심도 이미지를 생성하는 과정을 예시한 도면이다.
트리 구조 생성이 완료되면 트리 구조를 이용하여 부모 노드에 해당하는 이미지에 자식 노드에 해당하는 이미지를 삽입하는 방식으로 멀티 심도 이미지를 생성한다. 구체적으로, 트리 구조의 부모 노드 이미지에서 자식 노드 이미지에 대응하는 영역을 검색하고, 부모 노드 이미지 내의 검색된 영역에 자식 노드 이미지를 삽입하는 방식으로 멀티 심도 이미지를 생성할 수 있다.
도 10의 최종 트리 구조를 참고하면, 자동차 전체 이미지 아래에 헤드라이트 이미지 및 바퀴 이미지가 위치하고, 헤드라이트 이미지 아래에 전구 이미지 및 반사경 이미지가 위치하며, 바퀴 이미지 아래에 타이어휠 이미지 및 타이어 이미지가 위치한다.
이러한 트리 구조를 이용하여 부모 노드에 해당하는 이미지의 적절한 위치에 자식 노드에 해당하는 이미지를 삽입할 수 있다.
구체적으로, 자동차 전체 이미지에서 헤드라이트 이미지의 특징이 발견된 위치에 헤드라이트 이미지를 삽입할 수 있다. 예를 들어 자동차 전체 이미지를 헤드라이트 이미지와 이미지 매칭하여 자동차 전체 이미지에서 추출한 특징점과 헤드라이트 이미지에서 추출한 특징점을 비교한 후, 자동차 전체 이미지의 특정 위치에서 헤드라이트 이미지의 특징점이 발견되면 해당 위치에 헤드라이트 이미지를 삽입할 수 있다.
또한, 자동차 전체 이미지를 바퀴 이미지와 이미지 매칭하여 자동차 전체 이미지에서 추출한 특징점과 바퀴 이미지에서 추출한 특징점을 비교한 후, 자동차 전체 이미지의 특정 위치에서 바퀴 이미지의 특징점이 발견되면 해당 위치에 바퀴 이미지를 삽입할 수 있다.
또한, 헤드라이트 이미지를 전구 이미지와 이미지 매칭하여 헤드라이트 이미지에서 추출한 특징점과 전구 이미지에서 추출한 특징점을 비교한 후, 헤드라이트 이미지의 특정 위치에서 전구 이미지의 특징점이 발견되면 해당 위치에 전구 이미지를 삽입할 수 있다.
또한, 헤드라이트 이미지를 반사경 이미지와 이미지 매칭하여 헤드라이트 이미지에서 추출한 특징점과 반사경 이미지에서 추출한 특징점을 비교한 후, 헤드라이트 이미지의 특정 위치에서 반사경 이미지의 특징점이 발견되면 해당 위치에 반사경 이미지를 삽입할 수 있다.
또한, 바퀴 이미지를 타이어휠 이미지와 이미지 매칭하여 바퀴 이미지에서 추출한 특징점과 타이어휠 이미지에서 추출한 특징점을 비교한 후, 바퀴 이미지의 특정 위치에서 타이어휠 이미지의 특징점이 발견되면 해당 위치에 타이어휠 이미지를 삽입할 수 있다.
또한, 바퀴 이미지를 타이어 이미지와 이미지 매칭하여 바퀴 이미지에서 추출한 특징점과 타이어 이미지에서 추출한 특징점을 비교한 후, 바퀴 이미지의 특정 위치에서 타이어 이미지의 특징점이 발견되면 해당 위치에 타이어 이미지를 삽입할 수 있다.
이상과 같이 트리 구조의 모든 부모 노드 이미지에 각 자식 노드의 이미지를 삽입함으로써 멀티 심도 이미지를 생성할 수 있다.
8. 순서도
도 12는 본 발명의 일 실시예에 따른 멀티 심도 이미지 자동 생성 방법을 예시한 순서도다.
본 발명의 일 실시예에 의한 멀티 심도 이미지 자동 생성 방법은, 복수개의 이미지를 선정하는 단계(S1210), 복수개의 이미지를 서로 비교하여 복수개의 이미지 중 적어도 일부를 트리 구조로 연결하는 단계(S1220) 및 트리 구조에서 하위 노드 이미지를 상위 노드 이미지에 삽입함으로써 적어도 일부의 이미지들이 계층적으로 삽입된 멀티 심도 이미지를 생성하는 단계(S1230)를 포함한다.
그밖에 전술한 실시예에서 설명한 내용과 중복되는 내용은 자세한 설명을 생략한다.
도 12는 S1210 내지 S1230을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 기술 사상을 예시적으로 설명한 것에 불과할 뿐, S1210 내지 S1230의 실행이 시계열적인 순서로 한정되는 것은 아니다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 S1210 내지 S1230의 순서를 변경하거나, S1210 내지 S1230에서 하나 이상의 단계를 생략하거나, S1210 내지 S1230에서 하나 이상의 단계를 병렬적으로 실행하는 등 도 12의 방법을 다양하게 수정 및 변형할 수 있을 것이다.
한편, 전술한 실시예들로 설명된 방법은 프로세서를 포함하는 컴퓨터 또는 스마트폰 등의 전자 장치가 읽을 수 있는 기록매체에 그 전자 장치가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터 또는 스마트폰이 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터 또는 스마트폰이 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD 등), 플래시 메모리(예를 들면, USB, SSD) 등과 같은 저장매체를 포함한다. 또한 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터 또는 스마트폰이 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 실시예는 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 본 실시예의 다양한 수정 및 변형이 가능할 것이다.
본 실시예는 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 따라서 본 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등하거나 균등하다고 인정되는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은, 본 명세서에 그 전체가 참고로서 포함되는, 2017년 12월 29일자로 한국에 출원한 특허출원번호 제10-2017-0184767호에 대해 우선권을 주장한다.

Claims (8)

  1. 전자 장치에서 수행되는 멀티 심도 이미지 생성 방법에 있어서,
    복수개의 이미지를 선정하는 단계;
    상기 복수개의 이미지를 서로 비교하여 상기 복수개의 이미지 중 적어도 일부를 트리 구조로 연결하는 단계; 및
    상기 트리 구조에서 하위 노드 이미지를 상위 노드 이미지에 삽입함으로써, 상기 적어도 일부의 이미지들이 계층적으로 삽입된 멀티 심도 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 복수개의 이미지는, 저장 위치 및 각 이미지의 메타 데이터 중 적어도 하나 이상을 이용하여 선정되는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  3. 제2항에 있어서,
    상기 메타 데이터는 각 이미지가 생성된 공간적 위치 정보 및 시간 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  4. 제1항에 있어서,
    상기 트리 구조는 상기 복수개의 이미지 각각의 특징점들의 유사성 및 개수, 또는 상기 복수개의 이미지 각각에 포함된 객체들의 유사성 및 개수에 근거하여 생성되는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  5. 제4항에 있어서,
    상기 트리 구조로 연결하는 단계는,
    상기 복수개의 이미지 각각으로부터 특징점들을 추출하는 단계;
    유사한 특징점을 가지는 이미지들을 분류하여 하나 이상의 그룹을 생성하는 단계;
    각 그룹별로 이미지들에 포함된 특징점들의 개수에 근거하여 이미지들 간의 계층적 구조를 생성하는 단계, 객체의 개수가 많은 이미지가 상위 심도에 위치함; 및
    상기 계층적 구조를 가지는 각 그룹에서 동일한 이미지를 가지는 심도를 서로 연결하여 상기 트리 구조를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  6. 제4항에 있어서,
    상기 트리 구조로 연결하는 단계는,
    상기 복수개의 이미지 각각으로부터 객체를 인식하는 단계;
    유사한 객체를 가지는 이미지들을 분류하여 하나 이상의 그룹을 생성하는 단계;
    각 그룹별로 이미지들에 포함된 객체의 개수에 근거하여 이미지들 간의 계층적 구조를 생성하는 단계, 객체의 개수가 많은 이미지가 상위 심도에 위치함; 및
    상기 계층적 구조를 가지는 각 그룹에서 동일한 이미지를 가지는 심도를 서로 연결하여 상기 트리 구조를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  7. 제1항에 있어서,
    상기 멀티 심도 이미지를 생성하는 단계;
    상기 트리 구조의 상위 노드 이미지에서 하위 노드 이미지에 대응하는 영역을 검색하는 단계; 및
    상기 상위 노드 이미지 내의 상기 검색된 영역에 상기 하위 노드 이미지를 삽입하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  8. 제1항 내지 7항 중 어느 한 항의 방법을 실행시키는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
PCT/KR2018/016820 2017-12-29 2018-12-28 멀티 심도 이미지의 자동 생성 방법 WO2019132566A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/913,810 US11263477B2 (en) 2017-12-29 2020-06-26 Method of auto-generation of multidepth image by interconnecting images into tree structure

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170184767A KR102644105B1 (ko) 2017-12-29 2017-12-29 멀티 심도 이미지의 자동 생성 방법
KR10-2017-0184767 2017-12-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/913,810 Continuation US11263477B2 (en) 2017-12-29 2020-06-26 Method of auto-generation of multidepth image by interconnecting images into tree structure

Publications (1)

Publication Number Publication Date
WO2019132566A1 true WO2019132566A1 (ko) 2019-07-04

Family

ID=67067911

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/016820 WO2019132566A1 (ko) 2017-12-29 2018-12-28 멀티 심도 이미지의 자동 생성 방법

Country Status (3)

Country Link
US (1) US11263477B2 (ko)
KR (1) KR102644105B1 (ko)
WO (1) WO2019132566A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102644105B1 (ko) * 2017-12-29 2024-03-06 주식회사 피제이팩토리 멀티 심도 이미지의 자동 생성 방법
KR20200039169A (ko) * 2018-10-05 2020-04-16 주식회사 피제이팩토리 멀티 뎁스 이미지 표시 장치 및 방법
KR20200079849A (ko) * 2018-12-26 2020-07-06 주식회사 피제이팩토리 멀티 뎁스(multi-depth) 이미지 생성 및 뷰잉
JP2023529346A (ja) * 2020-06-03 2023-07-10 ピージェー ファクトリー カンパニー リミテッド マルチデプスイメージを生成する方法
KR20220090103A (ko) * 2020-12-22 2022-06-29 주식회사 피제이팩토리 멀티 뎁스 이미지를 이용하여 이미지를 레이블링하고 어노테이션하는 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100284778B1 (ko) * 1998-10-28 2001-03-15 정선종 내용기반 이미지 검색을 위한 고차원 색인구조의 삽입 방법
KR101145278B1 (ko) * 2011-11-08 2012-05-24 (주)올라웍스 유사한 이미지들로부터 대표 이미지를 선택하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR101333174B1 (ko) * 2005-12-06 2013-11-26 소니 가부시키가이샤 화상 관리 장치, 화상 표시 장치 및 화상 표시 방법과 컴퓨터 판독가능한 기록 매체
KR20130129725A (ko) * 2012-05-21 2013-11-29 주식회사 다음커뮤니케이션 검색 시스템 및 검색 서비스 방법
KR101387849B1 (ko) * 2006-09-19 2014-04-22 소니 주식회사 정보처리 장치 및 방법과, 기록 매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053393B2 (en) * 2010-03-19 2015-06-09 Canon Kabushiki Kaisha Learning method and apparatus for pattern recognition
JP2012252529A (ja) * 2011-06-03 2012-12-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
US10824313B2 (en) * 2013-04-04 2020-11-03 P.J. Factory Co., Ltd. Method and device for creating and editing object-inserted images
KR102644105B1 (ko) * 2017-12-29 2024-03-06 주식회사 피제이팩토리 멀티 심도 이미지의 자동 생성 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100284778B1 (ko) * 1998-10-28 2001-03-15 정선종 내용기반 이미지 검색을 위한 고차원 색인구조의 삽입 방법
KR101333174B1 (ko) * 2005-12-06 2013-11-26 소니 가부시키가이샤 화상 관리 장치, 화상 표시 장치 및 화상 표시 방법과 컴퓨터 판독가능한 기록 매체
KR101387849B1 (ko) * 2006-09-19 2014-04-22 소니 주식회사 정보처리 장치 및 방법과, 기록 매체
KR101145278B1 (ko) * 2011-11-08 2012-05-24 (주)올라웍스 유사한 이미지들로부터 대표 이미지를 선택하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR20130129725A (ko) * 2012-05-21 2013-11-29 주식회사 다음커뮤니케이션 검색 시스템 및 검색 서비스 방법

Also Published As

Publication number Publication date
KR20190081907A (ko) 2019-07-09
US20200327366A1 (en) 2020-10-15
US11263477B2 (en) 2022-03-01
KR102644105B1 (ko) 2024-03-06

Similar Documents

Publication Publication Date Title
WO2019132566A1 (ko) 멀티 심도 이미지의 자동 생성 방법
WO2021029648A1 (en) Image capturing apparatus and auxiliary photographing method therefor
WO2014168389A1 (en) Objects in screen images
WO2019050360A1 (en) ELECTRONIC DEVICE AND METHOD FOR AUTOMATICALLY SEGMENTING TO BE HUMAN IN AN IMAGE
WO2016024806A1 (en) Method and apparatus for providing image contents
WO2018052269A1 (en) Method of displaying images in a multi-dimensional mode based on personalized topics
WO2018062901A1 (ko) 터치스크린 단말기에서 저장 사진의 앨범 지정 및 태깅 방법, 컴퓨터 판독 가능 기록매체 및 단말기
WO2020032383A1 (ko) 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
WO2020186777A1 (zh) 图像检索方法、装置、设备及计算机可读存储介质
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2016080653A1 (en) Method and apparatus for image processing
WO2019245320A1 (ko) 이미지 센서와 복수의 지자기 센서를 융합하여 위치 보정하는 이동 로봇 장치 및 제어 방법
WO2019146951A1 (en) Electronic apparatus and control method thereof
WO2014148691A1 (en) Mobile device and method for controlling the same
WO2021157893A1 (en) Electronic device and method for saving image
WO2011078430A1 (ko) 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법
WO2019132563A1 (ko) 이미지 패닝 방법
WO2017099292A1 (ko) 물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치
WO2020050550A1 (en) Methods and systems for performing editing operations on media
EP3912143A1 (en) Method of providing augmented reality contents and electronic device therefor
WO2019132565A1 (ko) 멀티 심도 이미지 생성 방법
JP2004171375A (ja) 画像処理方法
KR20190081910A (ko) 멀티 심도 이미지의 자동 변환 방법
WO2020256517A2 (ko) 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
WO2014148741A1 (en) Mobile device and method for controlling the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18894725

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18894725

Country of ref document: EP

Kind code of ref document: A1