WO2019088673A2 - 이미지 분류장치 및 방법 - Google Patents

이미지 분류장치 및 방법 Download PDF

Info

Publication number
WO2019088673A2
WO2019088673A2 PCT/KR2018/013042 KR2018013042W WO2019088673A2 WO 2019088673 A2 WO2019088673 A2 WO 2019088673A2 KR 2018013042 W KR2018013042 W KR 2018013042W WO 2019088673 A2 WO2019088673 A2 WO 2019088673A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
classifying
information
group
Prior art date
Application number
PCT/KR2018/013042
Other languages
English (en)
French (fr)
Other versions
WO2019088673A3 (ko
Inventor
박상표
남진하
김은택
Original Assignee
주식회사 안랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 안랩 filed Critical 주식회사 안랩
Priority to JP2020543442A priority Critical patent/JP7019825B2/ja
Publication of WO2019088673A2 publication Critical patent/WO2019088673A2/ko
Publication of WO2019088673A3 publication Critical patent/WO2019088673A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image classification apparatus, and more particularly, to an image classification apparatus that classifies an optical recognition target image according to a predetermined classification criterion, removes an image with low probability of existence of personal information before optical recognition,
  • the present invention relates to an image classification apparatus and method for searching personal information images, which can increase the optical recognition efficiency and reduce the cost by reducing the number of images.
  • Google Cloud Vision API is an application that performs image analysis by applying the above optical recognition technology.
  • the optical recognition technology when used, there is a problem that the time and cost required for optical recognition increases exponentially as shown in FIG. 1 as the number of images to be optically recognized increases.
  • the optical recognition target image is classified according to a predetermined classification criterion, and an image with low probability of existence of personal information is removed before performing optical recognition
  • the present invention provides an image classification apparatus and method for searching for a personal information image, which can reduce the cost and increase the optical recognition efficiency.
  • the image classifying apparatus may include an image classifying unit that classifies all images in a first image group including a plurality of images according to a preset reference to classify the image to be removed, An image classifying unit for generating a second image group including an image, and an image producing unit for selecting a predetermined number of images among the images included in the second image group and synthesizing the selected images into one image.
  • the image classifying unit may further include a resolution-based classifying unit for classifying the image into the removal object image by checking the resolution of each image in the first image group and if the resolution is lower than a predetermined reference resolution.
  • the image classifying unit may further include a metadata-based classifying unit for classifying the metadata into the image to be removed when the metadata information for each image in the first image group is checked and the information related to the copyright is included, do.
  • the image classifying unit classifies the images captured by the same camera with respect to each image in the first image group, and generates the image based on the generation time information of each image taken by the same camera And a consecutive photograph classifying unit for classifying the remaining images into the removal object image, excluding one image selected arbitrarily from a plurality of images included in the interval range.
  • the image classifying unit may further include a focus-based classifying unit for classifying each image in the first image group as the removal target image by checking the degree of focus mismatching and, if the degree of focus mismatch is equal to or greater than a predetermined reference mismatch degree, .
  • the image production unit may include a resolution check unit for checking the resolution of each image included in the second image group, and a controller for reducing each image included in the second image group to a predetermined ratio based on the checked resolution
  • An image processing method comprising: an image reduction unit; an image processing unit that selects the predetermined number of images from the reduced image, and positions the reduced image in an area divided according to the predetermined number on the one image, And a synthesizing unit.
  • the image production unit may further include an image position storage unit for storing identification information for each of the reduced images included in the one image and area information on each of the reduced images, .
  • the image classifying apparatus may further include an image classifying unit for classifying a plurality of images included in the one image into an image in which the personal information is present based on the optical recognition result for the one image, And an image reclassifying unit for classifying the images.
  • the personal information may be text information included in the one image.
  • an image classification method comprising the steps of: classifying an image to be removed into a first image group including a plurality of images, Generating a second image group including the remaining images, and selecting a predetermined number of images from the images included in the second image group to produce one image.
  • the classifying step may include the steps of: checking resolution of each image in the first image group; and classifying the image into the removal object image if the resolution is lower than a predetermined reference resolution.
  • the classifying may include: checking metadata information of each image in the first image group; and classifying the metadata as the removal target image if the metadata information includes copyright related information
  • the method comprising the steps of:
  • the classifying may further include classifying the images photographed by the same camera for each image in the first image group, checking the generated time information of each image photographed by the same camera, And classifying the remaining images into the removal object image, excluding one image selected arbitrarily from among a plurality of images in which the generation time of the image is included in the predetermined time interval range based on the time information. do.
  • the classifying may further include: checking the degree of focus mismatch for each image in the first image group; and if the degree of focus mismatch is greater than or equal to the predetermined reference mismatching degree information, The method comprising the steps of:
  • the producing may include: checking the resolution of each image included in the second image group; and reducing each image included in the second image group to a predetermined ratio based on the examined resolution Selecting the predetermined number of images from among the reduced images, and compositing the reduced image into the one image by locating the reduced image in an area divided according to the predetermined number on the one image .
  • the producing step may further include storing identification information of each of the plurality of reduced images included in the one image and area information of each of the reduced images located on the one image .
  • the image classification method may further include classifying an image in which the personal information exists and an image in which the personal information does not exist based on the optical recognition result for the one image with respect to the plurality of images included in the one image Further comprising the steps of:
  • an image classification apparatus for searching personal information, comprising: an image classification unit configured to classify an optical recognition target image according to a predetermined classification criterion and remove an image, It is possible to increase the optical recognition efficiency and reduce the cost by reducing the number of optical recognition target images for information search.
  • FIG. 1 is a diagram illustrating a conventional optical recognition time and cost according to the number of images to be optically recognized.
  • FIG. 2 is a functional block diagram of an image classification apparatus for searching personal information images according to an embodiment of the present invention.
  • FIG. 3 is a view illustrating a composite image in which a plurality of images are synthesized according to an embodiment of the present invention.
  • FIG. 4 is a functional block diagram of a first image classifying unit according to an embodiment of the present invention.
  • FIG. 5 is a functional block diagram of an image producing unit according to an embodiment of the present invention.
  • FIG. 6 is a flowchart of operation control for classifying images in an image classification apparatus according to an embodiment of the present invention.
  • FIG. 7 is a conceptual diagram illustrating an area where personal information is recognized through optical recognition in one image in which a plurality of images are synthesized according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an example of optical recognition time and cost results after image classification according to an embodiment of the present invention.
  • FIG. 2 is a functional block diagram of an image classification apparatus for searching personal information images according to an embodiment of the present invention.
  • an image classification apparatus 200 for searching personal information according to a temporal example of the present invention includes a first image classification unit 202, an image production unit 204, a second image classification unit 206, .
  • the first image classifying unit 202 receives a plurality of images to be optically recognized for personal information extraction from the image storing unit 230.
  • the plurality of images may mean a photograph taken through a smart phone, a digital camera, or the like
  • the personal information may be text information, for example, as personal information of the user included in the image .
  • Such text information may be, for example, a passport number included in a passport photo, a resident registration number included in a photograph taken of a resident registration card, transaction information included in a photograph of a receipt or various documents, But is not limited thereto.
  • the first image classifying unit 202 when the above-described plurality of images are input, the first image classifying unit 202 generates a first image group including a plurality of images, and sets each image included in the first image group according to a preset reference And classifies the image to be removed with low probability of existence of personal information. Next, the first image classifying unit 202 generates a second image group including the remaining images except for the removal target image classified as above in the first image group.
  • the removal target image refers to an image that does not include the personal information exemplified above.
  • the detailed block configuration of the first image classifying unit 202 Will be described later in detail with reference to FIG.
  • the image producing unit 204 selects a predetermined number of images for the images included in the second image group generated from the first image classifying unit 202 and combines them into one image.
  • the image production unit 204 may synthesize six images included in the second image group into one image, but the present invention is not limited thereto.
  • the image production unit 204 divides one image 300 into six regions and combines the six images selected in the second image group, as shown in FIG. 3, in synthesizing the six images into one image. It is possible to combine the reduced image into a single image by arranging the reduced image in each area on one image 300 after reducing it to a certain ratio according to the size of each area.
  • the above-described image combining operation will be described later in detail with reference to FIG. 5 showing the detailed block configuration of the image producing unit 204.
  • the second image classifying unit 206 may classify the second image classifying unit 206 as a result of optical recognition of one image combined to include a plurality of images generated by the image producing unit 204, The image in which the personal information is detected and the image in which the personal information is not detected are classified.
  • the second image classifying unit 206 may classify the images for which no personal information is detected as a general image and manage them as a general image group, and the image in which the personal information is detected is classified as a personal information image But it is not limited to this.
  • optical recognition refers to a technique of extracting personal information from an image when personal information such as text is included in the image.
  • personal information in the image can be analyzed through optical recognition,
  • the location information in which the corresponding personal information is detected in the information-based image can also be analyzed.
  • the optical recognition may also be applied to an application for performing optical recognition in a computing device such as a smartphone, a tablet, a notebook, and a desktop PC equipped with the image classification apparatus 200 according to an embodiment of the present invention
  • the result of the optical recognition may be provided to the image classification apparatus 200 or may be provided to the image classification apparatus 200 after being executed in an external optical recognition server or the like connected through a wired or wireless communication network .
  • FIG. 4 is a functional block diagram of a first image classifying unit according to an embodiment of the present invention.
  • the first image classifier 202 includes a resolution-based classifier 400, a metadata-based classifier 402, a continuous picture classifier 404, A classification unit 406, and the like.
  • the resolution-based classification unit 400 checks the resolution of each image in the first image group, and classifies the image as a removal target image when the resolution is equal to or lower than a preset reference resolution.
  • the reference resolution can be set, for example, to a resolution that appears in an image taken by the user with a relatively low resolution front camera in the case of a smartphone, and accordingly, May be classified as a removal target image in which the possibility of personal information is low, but the present invention is not limited thereto. That is, the reference resolution can be selectively changed depending on which image is to be classified as the image to be removed.
  • the metadata-based classification unit 402 can identify metadata information about each image in the first image group and classify the metadata as a removal target image having low possibility of existence of personal information when information related to copyright is included.
  • the image including the copyright-related information may mean, for example, an image generated by a third party other than the user himself.
  • Such an image may be, for example, An image photographed by the user, and the like.
  • Such an image may include identification information of a vendor or a photographer who created the image in the metadata information included in the image data, and may include information such as the model name of the camera that photographed the image
  • the copyright related information may mean such information, but is not limited thereto.
  • the continuous picture classifying unit 404 classifies the images generated from the same camera for all the images in the first image group, and confirms the generated time information for each of the images generated from the same camera. Then, And classifies the corresponding image including the generated time point within the predetermined time interval range as the removal target image.
  • the preset reference time interval range may be set at a time interval set in a continuous photographing mode, for example, a smart phone, a digital camera, and the like. Lt; / RTI >
  • the image generated by continuous photographing is likely to contain similar information, when there are a plurality of images generated by continuous photographing, one image can be excluded and the remaining images can be classified as a control target image
  • the present invention is not limited thereto.
  • the focus-based classifying unit 406 examines the degree of focus blur for each image in the first image group, and classifies the image as a removal target image when the degree of focus mismatch is equal to or greater than a predetermined reference mismatch degree.
  • the predetermined reference focal point mismatch degree may indicate that the degree of the focal mismatch is expressed as a percentage when an image photographed through a smart phone, a digital camera, or the like is photographed out of focus and an image mismatch occurs in the image .
  • the degree of this reference focus mismatch can be determined, for example, as an empirical value that can extract personal information from the image, assuming that 0 indicates that the focus is correct and 100 indicates that the focus is completely inconsistent. . That is, the degree of focus discrepancy can be set to, for example, 0 to 20, and the image having the degree of focus discrepancy of 20 or more can be classified as a removal subject image in which it is difficult to extract personal information. However, no.
  • FIG. 5 is a functional block diagram of an image producing unit according to an embodiment of the present invention.
  • an image producing unit 204 includes a resolution checking unit 500, an image reducing unit 502, an image combining unit 504, an image position storing unit 506, and the like can do.
  • the resolution checking unit 500 checks the resolution of each image in the second image group, which is composed of images with high possibility of existence of personal information except for the primary classified image, (502).
  • the images included in the second image group include images having a predetermined reference resolution or higher through the primary classification, but the resolutions may be different from each other. Since the image included in the second image group must be reduced to a predetermined size based on the resolution of the original image through the image shrinking unit 502, it is necessary to check the resolution of each image.
  • the image reduction unit 502 reduces each image included in the second image group to a predetermined ratio based on the resolution of each image.
  • Each image included in the second image group may be an image to be subjected to optical recognition in a state of being classified as an image having high possibility of existence of personal information through the primary classification.
  • the cost for optical recognition may increase relatively, and data transmission efficiency may be lowered when the optical recognition server is transmitted to an external optical recognition server. Therefore, in order to increase the optical recognition efficiency, in one embodiment of the present invention, a plurality of reduced images are synthesized to be one image, thereby improving the optical recognition efficiency.
  • the image reducing unit 502 determines the original image according to the size of the corresponding area in consideration of the size of the area occupied by each image on one image according to the number of images .
  • the image synthesizing unit 504 selects a predetermined number of images to be synthesized into one image out of the reduced images at a predetermined ratio through the image reducing unit 502 and separates the selected images into a predetermined number of images And then synthesized into one image.
  • the image position storage unit 506 stores identification information of each of a plurality of reduced images included in one image synthesized by the image synthesis unit 504 and information on an area located on the corresponding image.
  • one image having been subjected to image synthesis as described above may be optically recognized through an optical recognition device provided in the image classification device 200 or an optical recognition server 250 connected through a wired / wireless communication network,
  • the second image classifier 206 may be provided with an optical recognition result that includes the personal information detected in the first image classifier 206 and the corresponding image position information in which the individual information is detected.
  • the second image classifier 206 When the second image classifier 206 receives the personal information detected in one image and the position information in which the personal information is detected in one image by performing the optical recognition as described above, Each image in which individual information is detected on one image is discriminated using stored information, and an image having personal information and an image having no personal information are classified.
  • the second image classifying unit 206 may classify an image for which no personal information is detected as a general image and manage it as a general image group, It can be classified as an information image and managed as a personal information image group.
  • FIG. 6 shows an operation control flow for classifying an image in an image classification apparatus according to an embodiment of the present invention.
  • an operation according to an embodiment of the present invention will be described in detail with reference to FIG. 2 to FIG.
  • the image classification apparatus 200 receives a plurality of images to be optically recognized for personal information extraction from the image storage unit 230 (S600).
  • an image may mean a photograph taken through a smart phone, a digital camera, or the like
  • the personal information may be, for example, text information as personal information of the user included in the image.
  • the image classification apparatus 200 When the plurality of images are input as described above, the image classification apparatus 200 generates a first image group including a plurality of images, and examines each image included in the first image group according to a preset reference A primary classification for classifying the image to be removed having a low probability of existence of personal information is performed (S602).
  • the image classification apparatus 200 checks the resolution of each image in the first image group, and classifies the image as a removal target image if the resolution is lower than a preset reference resolution (S602-1) .
  • the reference resolution can be set, for example, to a resolution that appears in an image taken by the user with a relatively low resolution front camera in the case of a smartphone, and accordingly, May be classified as a removal object image in which the possibility of personal information is low.
  • the image classification apparatus 200 checks the metadata information about each image in the first image group, and classifies it as a removal object image if information related to copyright is included (S602-2).
  • the image including the copyright-related information may mean, for example, an image generated by a third party other than the user himself. Such an image may be, for example, An image photographed by the user, and the like.
  • the image classification apparatus 200 classifies images taken by the same camera for all the images in the first image group, then confirms the generated time information of each image taken by the same camera, (S602-3) except for one image arbitrarily selected from among a plurality of images including the generated time point within a predetermined time interval range, and sorting the remaining images into a removal target image.
  • the preset reference time interval range may be set at a time interval set in a continuous photographing mode, for example, a smart phone, a digital camera, and the like. Lt; / RTI >
  • the image classification apparatus 200 checks the degree of focus blur for each image in the first image group, and classifies the image as a removal target image when the degree of focus mismatch is equal to or greater than a predetermined reference mismatch degree (S602-4 ).
  • the predetermined reference focal point mismatch degree may indicate that the degree of the focal mismatch is expressed as a percentage when an image photographed through a smart phone, a digital camera, or the like is photographed out of focus and an image mismatch occurs in the image .
  • the image classifying device 200 eliminates the removal target image (photo A) in which the personal information in the first image group is unlikely to exist in the first image group (S604), collects the remaining images excluding the removal target image And generates a second image group (photo B) (S606).
  • the image classification apparatus 200 selects a predetermined number of images for the images included in the second image group and synthesizes them into one image (S608). At this time, for example, the image classification apparatus 200 may synthesize six images included in the second image group into one image, but the present invention is not limited thereto. In addition, the image classifying apparatus 200 divides one image 300 into six regions, as shown in FIG. 3, in synthesizing six images into one image, and divides one image 300 selected in the second image group into six regions One image can be synthesized by reducing the number of images to a predetermined ratio according to the size of each region and arranging the reduced images on the respective regions on one image 300. [
  • One image synthesized so as to include a plurality of images classified in the above-described primary classification is optically recognized by an optical recognition apparatus mounted in the system or an external optical recognition server 250 connected through a wire / wireless communication network, An optical recognition in which personal information such as text is extracted is performed, and the optical recognition result may be input to the image classification apparatus 200 (S610).
  • the image classification apparatus 200 when the optical recognition result is input as described above, the image classification apparatus 200 generates an image in which the personal information is detected from among a plurality of images included in one image based on the optical recognition result, and an image in which the personal information is not detected (S612). ≪ / RTI >
  • FIG. 7 shows an area where personal information is recognized through optical recognition in one image in which a plurality of images are synthesized.
  • the image classification apparatus 200 generates an image in which the personal information is detected in one image in which a plurality of images are synthesized based on the personal information input as a result of optical recognition and the position information in which the personal information is detected, And the second classification is performed.
  • the image classification apparatus 200 can classify the images for which the personal information is not detected as a general image and manage it as a general image group (S614), and the image in which the personal information is detected is a personal information image And manage them as a personal information image group (S616).
  • FIG. 8 is a diagram illustrating an example of optical recognition time and cost results after image classification according to an embodiment of the present invention.
  • the image classification result according to an embodiment of the present invention for example, in the case of the user A, 1000 pieces of optical recognition target images are reduced to about 100 through first classification and image synthesis, It can be confirmed that the time required for recognition is greatly reduced, and that the same effect is also obtained in the case of users B, C, and D.
  • Combinations of the steps of each flowchart attached to the present invention may be performed by computer program instructions.
  • These computer program instructions may be loaded into a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus so that the instructions, which are executed via a processor of a computer or other programmable data processing apparatus, Lt; / RTI >
  • These computer program instructions may also be stored in a computer usable or computer readable memory capable of directing a computer or other programmable data processing apparatus to implement the functionality in a particular manner so that the computer usable or computer readable memory It is also possible to produce manufacturing items that contain instruction means for performing the functions described in each step of the flowchart.
  • Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible for the instructions to perform the processing equipment to provide steps for executing the functions described in each step of the flowchart.
  • each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s).
  • the functions mentioned in the steps may occur out of order.
  • the two steps shown in succession may in fact be performed substantially concurrently, or the steps may sometimes be performed in reverse order according to the corresponding function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명의 일실시예에 따르면, 개인정보 탐색을 위한 이미지 분류 장치에 있어서, 광학 인식 대상 이미지에 대해 기설정된 분류 기준에 따라 분류하고, 개인정보가 존재할 가능성이 낮은 이미지를 광학 인식 수행 전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 줄여 광학 인식 효율을 높이고 비용을 절감시킬 수 있다.

Description

이미지 분류장치 및 방법
본 발명은 이미지 분류 장치에 관한 것으로, 특히 광학 인식 대상 이미지를 기설정된 분류 기준에 따라 분류하고, 개인정보가 존재할 가능성이 낮은 이미지를 광학 인식 수행 전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 줄여 광학 인식 효율을 높이고 비용을 절감시킬 수 있도록 하는 개인정보 이미지 탐색을 위한 이미지 분류 장치 및 방법에 관한 것이다.
최근 들어, 카메라 등으로부터 촬영된 이미지에 대해 광학 인식 기술을 적용하여 이미지로부터 다양한 정보를 분석하는 광학 인식 기술에 대한 연구가 활발히 진행되고 있으며, 이러한 광학 인식 기술을 통해 이미지에 포함된 사물을 식별하거나 텍스트 정보를 추출하는 것이 가능하다.
한편, 최근 들어 스마트폰의 보급이 급속도로 증가하고 있으며, 이러한 스마트폰에는 대부분이 고성능 카메라가 탑재되어 있어 사용자가 언제 어디서든 사진을 촬영할 수 있게 됨에 따라 대부분 사용자의 스마트폰에는 많은 수의 사진들이 저장되어 있다.
현재 스마트폰을 사용하는 사용자들의 대부분이 저장공간의 50% 정도를 사진 저장을 위해 사용하고 있으며, 사진의 수는 평균적으로 1000장 이상 정도로 추산된다. 이러한 사진들에 대해서도 광학 인식 기술을 이용하여 개인정보를 포함한 이미지에 포함된 다양한 정보를 추출할 수 있다.
그러나, 이러한 많은 이미지들 내에서 이미지들에 대한 광학 인식을 통해 개인정보 등을 확인하기 위해서는 많은 시간과 비용이 발생된다.
위와 같은 광학 인식 기술을 적용하여 이미지 분석을 수행하여 주는 애플리케이션으로, 예를 들어, Google Cloud Vision API 등이 존재한다. 그러나, 이러한 광학 인식 기술을 사용하게 되는 경우 광학 인식 대상이 되는 이미지의 수가 증가함에 따라 도 1에서 나타난 바와 같이 광학 인식에 소요되는 시간과 비용이 기하급수적으로 증가하는 문제점이 있었다.
따라서, 광학 인식에 소요되는 시간과 비용을 줄이기 위해서는 광학 인식을 적용하기 전에 광학 인식 대상이 되는 이미지를 분석하고자 하는 정보에 대응되게 사전에 분류하여 이미지의 수를 최대한 줄이는 작업이 필요하다.
(특허문헌)
대한민국 등록특허번호 10-1735664호(등록일자 2017년 05월 08일)
따라서, 본 발명의 일실시예에서는 광학 인식 대상 이미지를 기설정된 분류 기준에 따라 분류하고, 개인정보가 존재할 가능성이 낮은 이미지를 광학 인식 수행 전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 줄여 광학 인식 효율을 높이고 비용을 절감시킬 수 있도록 하는 개인정보 이미지 탐색을 위한 이미지 분류 장치 및 방법을 제공한다.
상술한 본 발명의 일실시예에 따른 이미지 분류장치로서, 복수의 이미지를 포함하는 제1 이미지 그룹 내 모든 이미지를 기설정된 기준에 따라 검사하여 제거 대상 이미지를 분류하고, 상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 이미지 분류부와, 상기 제2 이미지 그룹 내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성하는 이미지 제작부를 포함한다.
또한, 상기 이미지 분류부는, 상기 제1 이미지 그룹 내 각 이미지에 대해 해상도를 검사하고, 상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 해상도 기반 분류부를 포함하는 것을 특징으로 한다.
또한, 상기 이미지 분류부는, 상기 제1 이미지 그룹 내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 상기 제거 대상 이미지로 분류하는 메타 데이터 기반 분류부를 더 포함하는 것을 특징으로 한다.
또한, 상기 이미지 분류부는, 상기 제1 이미지 그룹 내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하고, 상기 동일한 카메라에 의해 촬영된 각 이미지의 생성 시간 정보를 기반으로 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 연속사진 분류부를 더 포함하는 것을 특징으로 한다.
또한, 상기 이미지 분류부는, 상기 제1 이미지 그룹 내 각 이미지에 대해 초점 불일치 정도를 검사하고, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 상기 제거 대상 이미지로 분류하는 초점 기반 분류부를 더 포함하는 것을 특징으로 한다.
또한, 상기 이미지 제작부는, 상기 제2 이미지 그룹 내 포함된 각 이미지의 해상도를 검사하는 해상도 검사부와, 상기 제2 이미지 그룹 내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 이미지 축소부와, 상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 이미지 합성부를 포함하는 것을 특징으로 한다.
또한, 상기 이미지 제작부는, 상기 하나의 이미지에 포함된 상기 축소된 이미지 각각에 대한 식별정보와 상기 축소된 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 이미지 위치 기억부를 더 포함하는 것을 특징으로 한다.
또한, 상기 이미지 분류장치는, 상기 이미지 제작부에서 상기 하나의 이미지에 포함된 복수의 이미지에 대해 상기 하나의 이미지에 대한 광학 인식 결과에 기반하여 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지를 분류하는 이미지 재분류부를 더 포함하는 것을 특징으로 한다.
또한, 상기 개인정보는, 상기 하나의 이미지에 포함된 텍스트 정보인 것을 특징으로 한다.
또한, 본 발명의 일실시예에 따른 이미지 분류방법으로서, 복수의 이미지를 포함하는 제1 이미지 그룹 내 각 이미지를 기설정된 기준에 따라 검사하여 제거 대상 이미지를 분류하는 단계와, 상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 단계와, 상기 제2 이미지 그룹 내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 제작하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 분류하는 단계는, 상기 제1 이미지 그룹 내 각 이미지에 대해 해상도를 검사하는 단계와, 상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 분류하는 단계는, 상기 제1 이미지 그룹 내 각 이미지에 대한 메타 데이터 정보를 확인하는 단계와, 상기 확인 결과 상기 메타 데이터 정보에 저작권과 관련된 정보가 포함되어 있는 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 분류하는 단계는, 상기 제1 이미지 그룹 내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하는 단계와, 상기 동일한 카메라에 의해 촬영된 각 이미지의 생성된 시간 정보를 확인하는 단계와, 상기 시간 정보를 기반으로 이미지의 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 분류하는 단계는, 상기 제1 이미지 그룹 내 각 이미지에 대해 초점 불일치 정도를 검사하는 단계와, 상기 검사결과, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정보 이상인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 제작하는 단계는, 상기 제2 이미지 그룹 내 포함된 각 이미지의 해상도를 검사하는 단계와, 상기 제2 이미지 그룹 내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 단계와, 상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 제작하는 단계는, 상기 하나의 이미지에 포함된 복수의 축소된 이미지 각각에 대한 식별정보와 상기 축소된 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 이미지 분류방법은, 상기 하나의 이미지에 포함된 복수의 이미지에 대해 상기 하나의 이미지에 대한 광학 인식 결과에 기반하여 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지를 분류하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따르면, 개인정보 탐색을 위한 이미지 분류 장치에 있어서, 광학 인식 대상 이미지를 기설정된 분류 기준에 따라 분류하고, 개인정보가 존재할 가능성이 낮은 이미지를 광학 인식 수행 전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 줄여 광학 인식 효율을 높이고 비용을 절감시킬 수 있다.
도 1은 광학 인식 대상 이미지의 수에 따른 종래의 광학 인식 소요 시간 및 비용 예시도이다.
도 2는 본 발명의 일실시예에 따른 개인정보 이미지 탐색을 위한 이미지 분류 장치의 기능 블록 구성도이다.
도 3은 본 발명의 일실시예에 따른 복수의 이미지가 합성된 합성 이미지 예시도이다.
도 4는 본 발명의 일실시예에 따른 제1 이미지 분류부의 기능 블록 구성도이다.
도 5는 본 발명의 일실시예에 따른 이미지 제작부의 기능 블록 구성도이다.
도 6은 본 발명의 일실시예에 따른 이미지 분류장치에서 이미지를 분류하는 동작 제어 흐름도이다.
도 7은 본 발명의 일실시예에 따른 복수의 이미지가 합성된 하나의 이미지에서 광학 인식을 통해 개인정보가 인식된 영역 표시 개념도이다.
도 8은 본 발명의 일실시예에 따른 이미지 분류 후 광학 인식 시간과 비용 결과 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 2는 본 발명의 일실시예에 따른 개인정보 이미지 탐색을 위한 이미지 분류 장치의 기능 블록 구성을 도시한 것이다.
도 2를 참조하면, 본 발명의 일시예에 따른 개인정보 탐색을 위한 이미지 분류장치(200)는 제1 이미지 분류부(202), 이미지 제작부(204), 제2 이미지 분류부(206) 등을 포함할 수 있다.
먼저, 제1 이미지 분류부(202)는 이미지 저장부(230)로부터 개인정보 추출을 위한 광학 인식 대상이 되는 복수의 이미지를 입력받는다. 이때, 이러한 복수의 이미지는 스마트폰, 디지털 카메라 등을 통해 촬영된 사진 등을 의미할 수 있으며, 개인정보는 이러한 이미지에 포함된 사용자의 개인정보로서, 예를 들어, 텍스트(text) 정보가 될 수 있다. 또한, 이러한 텍스트 정보는, 예를 들어, 여권 사진에 포함되어 있는 여권 번호, 주민등록증을 촬영한 사진에 포함되어 있는 주민등록번호, 영수증 또는 각종 문서를 촬영한 사진에 포함된 거래 정보, 증빙 정보 등이 될 수 있으나, 이에 한정되는 것은 아니다.
즉, 제1 이미지 분류부(202)는 위와 같은 복수의 이미지를 입력받는 경우, 복수의 이미지를 포함하는 제1 이미지 그룹을 생성하고, 제1 이미지 그룹 내 포함된 각 이미지를 기설정된 기준에 따라 검사하여 개인정보가 존재할 가능성이 낮은 제거 대상 이미지를 분류한다. 이어, 제1 이미지 분류부(202)는 제1 이미지 그룹에서 위와 같이 분류된 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성한다.
이때, 제거 대상 이미지는 위와 같이 예시한 개인정보를 포함하고 있지 않은 이미지를 말하는 것으로, 이러한 개인정보를 포함하고 있지 않은 이미지를 분류하는 구체적인 방법에 대해서는 제1 이미지 분류부(202)의 상세 블록 구성을 도시한 도 4를 참조하여 상세히 후술하기로 한다.
이미지 제작부(204)는 제1 이미지 분류부(202)로부터 생성된 제2 이미지 그룹에 포함된 이미지에 대해 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성한다. 이때, 예를 들어, 이미지 제작부(204)는 제2 이미지 그룹 내 포함된 6개의 이미지를 선택하여 하나의 이미지로 합성할 수 있으나, 이에 한정되는 것은 아니다.
또한, 이미지 제작부(204)는 6개의 이미지를 하나의 이미지에 합성함에 있어서 도 3에서 보여지는 바와 같이 하나의 이미지(300)를 6개의 영역으로 구분하고, 제2 이미지 그룹에서 선택된 6개의 이미지를 각 영역의 크기에 맞게 일정 비율로 축소한 후 축소된 이미지를 하나의 이미지(300)상 각 영역에 배치하는 것을 통해 하나의 이미지로 합성할 수 있다. 위와 같은 이미지 합성 동작에 대해서는 이미지 제작부(204)의 상세 블록 구성을 도시한 도 5를 참조하여 상세히 후술하기로 한다.
제2 이미지 분류부(206)는 이미지 제작부(204)에서 생성된 복수의 이미지를 포함하도록 합성된 하나의 이미지에 대한 광학 인식 결과, 개인정보가 검출되는 경우 하나의 이미지 내에 포함된 복수의 이미지 중 개인정보가 검출된 이미지와 개인정보가 검출되지 않은 이미지를 분류한다. 이때, 제2 이미지 분류부(206)는, 예를 들어, 개인정보가 검출되지 않은 이미지는 일반 이미지로 분류하여 일반 이미지 그룹으로 관리할 수 있으며, 개인정보가 검출된 이미지는 개인정보 이미지로 분류하여 개인정보 이미지 그룹으로 관리할 수 있으나, 이에 한정되는 것은 아니다.
또한, 이때, 광학 인식이라 함은 이미지에 텍스트 등의 개인정보가 포함되어 있는 경우 이미지로부터 개인정보를 추출하는 기술을 말하는 것으로, 광학 인식을 통해 이미지 내의 개인정보가 분석될 수 있고, 추출된 개인정보별 이미지상 해당 개인정보가 검출된 위치 정보도 분석될 수 있다.
또한, 광학 인식은 본 발명의 일실시예에 따른 이미지 분류장치(200)가 탑재된 스마트폰(smartphone), 테블릿(tablet), 노트북, 데스크탑 PC 등의 컴퓨팅 장치에서 광학 인식을 수행하는 애플리케이션 등에 의해 실행된 후, 광학 인식 수행된 결과가 이미지 분류장치(200)로 제공될 수도 있으며, 유무선 통신망을 통해 연결되는 외부의 광학 인식 서버 등에서 실행된 후, 이미지 분류장치(200)로 제공될 수도 있다.
도 4는 본 발명의 일실시예에 따른 제1 이미지 분류부의 기능 블록 구성을 도시한 것이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 제1 이미지 분류부(202)는 해상도 기반 분류부(400), 메타 데이터 기반 분류부(402), 연속사진 분류부(404), 초점 기반 분류부(406) 등을 포함할 수 있다.
해상도 기반 분류부(400)는 제1 이미지 그룹 내 각 이미지에 대해 해상도를 검사하고, 해상도가 기설정된 기준 해상도 이하인 경우 제거 대상 이미지로 분류한다. 이때, 기준 해상도는, 예를 들어, 스마트폰의 경우 상대적으로 해상도가 낮은 전면 카메라로 사용자 자신을 촬영한 이미지에서 나타나는 해상도로 정해질 수 있으며, 이에 따라 전면 카메라를 이용하여 사용자 자신을 촬영한 이미지는 개인정보가 존재할 가능성이 낮은 제거 대상 이미지로 분류될 수 있으나, 이에 한정되는 것은 아니다. 즉, 기준 해상도는 제거 대상 이미지로 분류할 사진을 어떤 것으로 결정하느냐에 따라 선택적으로 변경 설정 가능하다.
메타 데이터 기반 분류부(402)는 제1 이미지 그룹 내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 개인정보가 존재할 가능성이 낮은 제거 대상 이미지로 분류할 수 있다. 이때, 저작권 관련된 정보가 포함된 이미지는, 예를 들어, 사용자 자신이 아닌 제3자에 의해 생성된 이미지를 의미할 수 있으며, 이러한 이미지는, 예를 들어, 기업 등에서 제작한 이미지 또는 사진작가 등에 의해 촬영된 이미지 등이 될 수 있다. 이와 같은 이미지에는 이미지 데이터의 내부에 포함된 메타 데이터 정보에 해당 이미지를 제작한 벤더(vender)나, 사진작가의 식별 정보가 포함될 수 있고, 해당 이미지를 촬영한 카메라의 모델명 등의 정보가 포함될 수 있는데, 저작권 관련 정보는 이러한 정보 등을 의미할 수 있으나 이에 한정되는 것은 아니다.
연속사진 분류부(404)는 제1 이미지 그룹 내 모든 이미지에 대해 동일한 카메라로부터 생성된 이미지를 분류하고, 동일한 카메라로부터 생성된 이미지에 대해 다시 각 이미지가 생성된 시간 정보를 확인한 후, 각 이미지가 생성된 시점이 기설정된 시간 간격 범위 내에 포함되는 해당 이미지를 제거 대상 이미지로 분류한다. 이때, 기설정된 기준 시간 간격 범위는, 예를 들어, 스마트폰, 디지털 카메라 등에 구비되는 연속사진 촬영 모드시 설정된 시간 간격으로 정해질 수 있으며, 이러한 기준 시간 간격 범위 내에서 생성된 이미지는 연속사진 촬영에 의해 생성된 것을 의미할 수 있다. 또한, 연속사진 촬영에 의해 생성된 이미지는 비슷한 정보를 포함하고 있을 가능성이 높으므로, 연속사진 촬영으로 생성된 이미지가 복수개인 경우 하나의 이미지를 제외하고 나머지 이미지에 대해서는 제어 대상 이미지로 분류할 수 있으나, 이에 한정되는 것은 아니다.
초점 기반 분류부(406)는 제1 이미지 그룹 내 각 이미지에 대해 초점 불일치(blur) 정도를 검사하고, 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 제거 대상 이미지로 분류한다. 이때, 기설정된 기준 초점 불일치 정도는 스마트폰, 디지털 카메라 등을 통해 촬영된 이미지가 초점이 맞지 않게 촬영되어 이미지상 초점 불일치가 발생한 경우, 초점 불일치가 발생한 정도를 백분율로 표시한 것을 의미할 수 있다. 이때, 이러한 기준 초점 불일치 정도는, 예를 들어, 0이 초점이 정확히 맞은 것을 나타내고 100이 초점이 완전히 불일치한 것을 나타낸다고 가정하는 경우 초점이 불일치하지만 이미지에서 개인정보를 추출할 수 있는 실험치로 정해질 수 있다. 즉, 이러한 초점 불일치 정도는, 예를 들어, 0~20으로 정해질 수 있고 초점 불일치 정도가 20 이상이 되는 이미지는 개인정보의 추출이 어려운 제거 대상 이미지로 분류되도록 할 수 있으나, 이에 한정되는 것은 아니다.
도 5는 본 발명의 일실시예에 따른 이미지 제작부의 기능 블록 구성을 도시한 것이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 이미지 제작부(204)는 해상도 검사부(500), 이미지 축소부(502), 이미지 합성부(504), 이미지 위치 기억부(506) 등을 포함할 수 있다.
해상도 검사부(500)는 1차 분류된 이미지를 제외한 개인정보가 존재할 가능성이 높은 이미지들로 구성되는 제2 이미지 그룹 내 각 이미지의 해상도를 검사하고, 검사된 이미지별 해상도에 대한 정보를 이미지 축소부(502)로 제공한다.
이때, 제2 이미지 그룹 내 포함된 이미지는 1차 분류를 통해 기설정된 기준 해상도 이상인 이미지가 포함된 상태이나, 이미지별로 해상도는 서로 다를 수 있다. 이러한 제2 이미지 그룹 내 포함된 이미지는 이미지 축소부(502)를 통해 원래 이미지가 가지고 있는 해상도를 기반으로 일정 크기로 축소되어야 하기 때문에 이미지별 해상도를 검사하는 것이 필요하다.
이미지 축소부(502)는 제2 이미지 그룹 내 포함된 각 이미지를 각 이미지의 해상도에 기반하여 기설정된 비율로 축소시킨다. 제2 이미지 그룹 내 포함된 각 이미지는 1차 분류를 통해 개인정보가 존재할 가능성이 높은 이미지로 분류된 상태로 광학 인식의 대상이 되는 이미지일 수 있다. 이러한 이미지 각각에 대해 광학 인식을 수행하는 경우 여전히 광학 인식에 소요되는 비용이 상대적으로 증가할 수 있으며 외부에 위치한 광학 인식 서버로 전송하는 경우 데이터 전송 효율이 저하될 수 있다. 따라서, 광학 인식 효율을 높이기 위해 본 발명의 일실시예에서는 복수의 축소된 이미지를 합성하여 하나의 이미지로 제작하여 광학 인식 효율을 높이도록 한다.
즉, 이미지 축소부(502)는 하나의 이미지에 들어갈 축소된 이미지의 수가 정해진 경우 이미지의 수에 따라 하나의 이미지상 각 이미지가 차지하는 영역의 크기를 고려하여 해당 영역의 크기에 맞게 원래 이미지를 특정 비율로 축소시키게 된다.
이미지 합성부(504)는 이미지 축소부(502)를 통해 일정 비율로 축소된 이미지 중 하나의 이미지로 합성할 기설정된 개수의 이미지를 선택하고, 선택된 이미지를 하나의 이미지상 기설정된 개수에 맞게 구분된 각 영역에 위치시켜 하나의 이미지로 합성한다.
이미지 위치 기억부(506)는 이미지 합성부(504)에서 합성되는 하나의 이미지별 포함되는 복수의 축소된 이미지 각각에 대한 식별정보와 해당 하나의 이미지상 위치된 영역에 대한 정보를 저장한다.
이때, 위와 같이 이미지 합성이 완료된 하나의 이미지는 이미지 분류장치(200)내 구비되는 광학 인식 장치 또는 유무선 통신망을 통해 연결된 광학 인식 서버(250)를 통해 광학 인식이 수행될 수 있으며, 하나의 이미지 내에서 검출된 개인정보와 각 개인정보가 검출된 해당 이미지상 위치정보를 포함하는 광학 인식 결과가 제2 이미지 분류부(206)로 제공될 수 있다.
그러면 제2 이미지 분류부(206)는 위와 같이 광학 인식이 수행되어 하나의 이미지에서 검출된 개인정보와 하나의 이미지상에서 개인정보가 검출된 위치정보를 수신하는 경우, 이미지 위치 기억부(506)에 저장된 정보를 이용하여 하나의 이미지상 개인정보가 검출된 각 이미지를 판별하여 개인정보가 있는 이미지와 개인정보가 없는 이미지를 분류하게 되는 것이다.
이때, 제2 이미지 분류부(206)는 앞서 설명한 바와 같이, 예를 들어, 개인정보가 검출되지 않은 이미지는 일반 이미지로 분류하여 일반 이미지 그룹으로 관리할 수 있으며, 개인정보가 검출된 이미지는 개인정보 이미지로 분류하여 개인정보 이미지 그룹으로 관리할 수 있다.
도 6은 본 발명의 일실시예에 따른 이미지 분류장치에서 이미지를 분류하는 동작 제어 흐름을 도시한 것이다. 이하, 도 2 내지 도 6을 참조하여 본 발명의 일실시예에 따른 동작을 상세히 설명하기로 한다.
먼저, 이미지 분류장치(200)는 이미지 저장부(230)로부터 개인정보 추출을 위한 광학 인식 대상이 되는 복수의 이미지를 입력받는다(S600). 이때, 이러한 이미지는 스마트폰, 디지털 카메라 등을 통해 촬영된 사진 등을 의미할 수 있으며, 개인정보는 이러한 이미지에 포함된 사용자의 개인정보로서, 예를 들어, 텍스트 정보가 될 수 있다.
이어, 이미지 분류장치(200)는 위와 같이 복수의 이미지를 입력받는 경우, 복수의 이미지를 포함하는 제1 이미지 그룹을 생성하고, 제1 이미지 그룹 내 포함된 각 이미지를 기설정된 기준에 따라 검사하여 개인정보가 존재할 가능성이 낮은 제거 대상 이미지를 분류하는 1차 분류를 수행한다(S602).
이때, 이미지 분류장치(200)는 1차 분류를 수행함에 있어서, 제1 이미지 그룹 내 각 이미지에 대해 해상도를 검사하고, 해상도가 기설정된 기준 해상도 이하인 경우 제거 대상 이미지로 분류한다(S602-1). 이때, 기준 해상도는, 예를 들어, 스마트폰의 경우 상대적으로 해상도가 낮은 전면 카메라로 사용자 자신을 촬영한 이미지에서 나타나는 해상도로 정해질 수 있으며, 이에 따라 전면 카메라를 이용하여 사용자 자신을 촬영한 이미지는 개인정보가 존재할 가능성이 낮은 제거 대상 이미지로 분류될 수 있다.
또한, 이미지 분류장치(200)는 제1 이미지 그룹 내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 제거 대상 이미지로 분류한다(S602-2). 이때, 저작권 관련된 정보가 포함된 이미지는, 예를 들어, 사용자 자신이 아닌 제3자에 의해 생성된 이미지를 의미할 수 있으며, 이러한 이미지는, 예를 들어, 기업 등에서 제작한 이미지 또는 사진작가 등에 의해 촬영된 이미지 등이 될 수 있다.
또한, 이미지 분류장치(200)는 제1 이미지 그룹 내 모든 이미지에 대해 동일 카메라에 의해 촬영된 이미지를 분류한 후, 동일 카메라에 의해 촬영된 각 이미지의 생성된 시간 정보를 확인하고, 각 이미지가 생성된 시점이 기설정된 시간 간격 범위 내에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 제거 대상 이미지로 분류한다(S602-3). 이때, 기설정된 기준 시간 간격 범위는, 예를 들어, 스마트폰, 디지털 카메라 등에 구비되는 연속사진 촬영 모드시 설정된 시간 간격으로 정해질 수 있으며, 이러한 기준 시간 간격 범위내에서 생성된 이미지는 연속사진 촬영에 의해 생성된 것을 의미할 수 있다.
또한, 이미지 분류장치(200)는 제1 이미지 그룹 내 각 이미지에 대해 초점 불일치(blur) 정도를 검사하고, 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 제거 대상 이미지로 분류한다(S602-4). 이때, 기설정된 기준 초점 불일치 정도는 스마트폰, 디지털 카메라 등을 통해 촬영된 이미지가 초점이 맞지 않게 촬영되어 이미지상 초점 불일치가 발생한 경우, 초점 불일치가 발생한 정도를 백분율로 표시한 것을 의미할 수 있다.
위와 같이 이미지 분류장치(200)는 1차 분류를 통해 제1 이미지 그룹에서 개인정보가 존재할 가능이 낮은 제거 대상 이미지(사진 A)를 제외시키고(S604), 제거 대상 이미지를 제외한 나머지 이미지를 취합하여 제2 이미지 그룹(사진 B)을 생성한다(S606).
이어, 이미지 분류장치(200)는 제2 이미지 그룹에 포함된 이미지에 대해 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성한다(S608). 이때, 예를 들어, 이미지 분류장치(200)는 제2 이미지 그룹 내 포함된 6개의 이미지를 선택하여 하나의 이미지로 합성할 수 있으나, 이에 한정되는 것은 아니다. 또한, 이미지 분류장치(200)는 6개의 이미지를 하나의 이미지에 합성함에 있어서 상기한 도 3에서 보여지는 바와 같이 하나의 이미지(300)를 6개의 영역으로 구분하고, 제2 이미지 그룹에서 선택된 6개의 이미지를 각 영역의 크기에 맞게 일정 비율로 축소한 후 축소된 이미지를 하나의 이미지(300)상 각 영역에 배치하는 것을 통해 하나의 이미지를 합성할 수 있다.
위와 같이 1차 분류된 복수의 이미지를 포함하도록 합성된 하나의 이미지는 시스템 내부의 탑재된 광학 인식 장치 또는 유무선 통신망을 통해 연결된 외부의 광학 인식 서버(250) 등에서 광학 인식이 수행되어 이미지 내에 포함된 텍스트 등의 개인정보가 추출되는 광학 인식이 수행되고, 광학 인식 결과가 이미지 분류장치(200)로 입력될 수 있다(S610).
그러면, 이미지 분류장치(200)는 위와 같이 광학 인식 결과가 입력되는 경우, 광학 인식 결과를 기반으로 하나의 이미지 내에 포함된 복수의 이미지 중 개인정보가 검출된 이미지와 개인정보가 검출되지 않은 이미지를 분류하는 2차 분류를 수행한다(S612).
도 7은 복수의 이미지가 합성된 하나의 이미지에서 광학 인식을 통해 개인정보가 인식된 영역을 표시한 것이다.
이미지 분류장치(200)는 도 7에서와 같이 광학 인식 결과로 입력되는 개인정보와 개인정보가 검출된 위치정보를 기반으로 복수의 이미지가 합성된 하나의 이미지에서 개인정보가 검출된 이미지와 개인정보가 검출되지 않은 이미지를 식별하여 2차 분류를 수행하는 것이다.
이어, 이미지 분류장치(200)는, 예를 들어, 개인정보가 검출되지 않은 이미지는 일반 이미지로 분류하여 일반 이미지 그룹으로 관리할 수 있으며(S614), 개인정보가 검출된 이미지는 개인정보 이미지로 분류하여 개인정보 이미지 그룹으로 관리할 수 있다(S616).
이에 따라, 광학 인식 대상 이미지에 대해 기설정된 분류 기준에 따라 분류하여 개인정보가 존재할 가능성이 낮은 이미지를 사전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 대폭 줄일 수 있으며, 광학 인식 효율을 높이고 비용을 절감시킬 수 있게 된다.
도 8은 본 발명의 일실시예에 따른 이미지 분류 후 광학 인식 시간과 비용 결과 예시도이다.
도 8에서 보여지는 바와 같이 본 발명의 일실시예에 따른 이미지 분류 결과, 예를 들어, 사용자 A의 경우 1000장의 광학 인식 대상 이미지가 1차 분류와 이미지 합성을 통해 약 100장으로 줄어들어 비용과 광학 인식에 소요되는 시간이 대폭 줄어든 것을 확인할 수 있으며, 사용자 B, C, D의 경우도 동일한 효과가 발생한 것을 확인할 수 있다.
이때, 위와 같은 광학 인식에 소요되는 시간과 비용의 계산은 설명의 편의상, 예를 들어, Google Cloud Vision API를 광학 인식 서버로 이용한 경우를 예시한 것일 뿐, 다른 광학 인식 서버를 이용하거나 시스템 내부에 광학 인식 모듈을 탑재하는 경우에도 동일한 결과가 도출되리라는 것은 당업자에게 자명하게 이해될 수 있다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
한편 상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

Claims (17)

  1. 복수의 이미지를 포함하는 제1 이미지 그룹 내 모든 이미지를 기설정된 기준에 따라 검사하여 제거 대상 이미지를 분류하고, 상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 이미지 분류부와,
    상기 제2 이미지 그룹 내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성하는 이미지 제작부를 포함하는
    이미지 분류장치.
  2. 제 1 항에 있어서,
    상기 이미지 분류부는,
    상기 제1 이미지 그룹 내 각 이미지에 대해 해상도를 검사하고, 상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 해상도 기반 분류부를 포함하는
    이미지 분류장치.
  3. 제 1 항에 있어서,
    상기 이미지 분류부는,
    상기 제1 이미지 그룹 내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 상기 제거 대상 이미지로 분류하는 메타 데이터 기반 분류부를 더 포함하는
    이미지 분류장치.
  4. 제 1 항에 있어서,
    상기 이미지 분류부는,
    상기 제1 이미지 그룹 내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하고, 상기 동일한 카메라에 의해 촬영된 각 이미지의 생성 시간 정보를 기반으로 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 연속사진 분류부를 더 포함하는
    이미지 분류장치.
  5. 제 1 항에 있어서,
    상기 이미지 분류 부는,
    상기 제1 이미지 그룹 내 각 이미지에 대해 초점 불일치 정도를 검사하고, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상이었으면 상기 제거 대상 이미지로 분류하는 초점 기반 분류부를 더 포함하는
    이미지 분류장치.
  6. 제 1 항에 있어서,
    상기 이미지 제작부는,
    상기 제2 이미지 그룹 내 포함된 각 이미지의 해상도를 검사하는 해상도 검사부와,
    상기 제2 이미지 그룹 내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 이미지 축소부와,
    상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 이미지 합성부를 포함하는
    이미지 분류장치.
  7. 제 6 항에 있어서,
    상기 이미지 제작부는,
    상기 하나의 이미지에 포함된 상기 축소된 이미지 각각에 대한 식별정보와 상기 축소된 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 이미지 위치 기억부를 더 포함하는
    이미지 분류장치.
  8. 제 1 항에 있어서,
    상기 이미지 분류장치는,
    상기 이미지 제작부에서 상기 하나의 이미지에 포함된 복수의 이미지에 대해 상기 하나의 이미지에 대한 광학 인식 결과에 기반을 두어 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않은 이미지를 분류하는 이미지 재분류 부를 더 포함하는
    이미지 분류장치.
  9. 제 8 항에 있어서,
    상기 개인정보는,
    상기 하나의 이미지에 포함된 텍스트 정보인
    이미지 분류장치.
  10. 복수의 이미지를 포함하는 제1 이미지 그룹 내 각 이미지를 기설정된 기준에 따라 검사하여 제거 대상 이미지를 분류하는 단계와,
    상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 단계와,
    상기 제2 이미지 그룹 내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 제작하는 단계를 포함하는
    이미지 분류방법.
  11. 제 10 항에 있어서,
    상기 분류하는 단계는,
    상기 제1 이미지 그룹 내 각 이미지에 대해 해상도를 검사하는 단계와,
    상기 해상도가 기설정된 기준 해상도 이하이었으면 상기 제거 대상 이미지로 분류하는 단계를 포함하는
    이미지 분류방법.
  12. 제 10 항에 있어서,
    상기 분류하는 단계는,
    상기 제1 이미지 그룹 내 각 이미지에 대한 메타 데이터 정보를 확인하는 단계와,
    상기 확인 결과 상기 메타 데이터 정보에 저작권과 관련된 정보가 포함되어 있는 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는
    이미지 분류방법.
  13. 제 10 항에 있어서,
    상기 분류하는 단계는,
    상기 제1 이미지 그룹 내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하는 단계와,
    상기 동일한 카메라에 의해 촬영된 각 이미지의 생성된 시간 정보를 확인하는 단계와,
    상기 시간 정보를 기반으로 이미지의 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 단계를 포함하는
    이미지 분류방법.
  14. 제 10 항에 있어서,
    상기 분류하는 단계는,
    상기 제1 이미지 그룹 내 각 이미지에 대해 초점 불일치 정도를 검사하는 단계와,
    상기 검사결과, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정보 이상인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는
    이미지 분류방법.
  15. 제 10 항에 있어서,
    상기 제작하는 단계는,
    상기 제2 이미지 그룹 내 포함된 각 이미지의 해상도를 검사하는 단계와,
    상기 제2 이미지 그룹 내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 단계와,
    상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 단계를 포함하는
    이미지 분류방법.
  16. 제 15 항에 있어서,
    상기 제작하는 단계는,
    상기 하나의 이미지에 포함된 복수의 축소된 이미지 각각에 대한 식별정보와 상기 축소된 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 단계를 더 포함하는
    이미지 분류방법.
  17. 제 10 항에 있어서,
    상기 이미지 분류방법은,
    상기 하나의 이미지에 포함된 복수의 이미지에 대해 상기 하나의 이미지에 대한 광학 인식 결과에 기반하여 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지를 분류하는 단계를 더 포함하는
    이미지 분류방법.
PCT/KR2018/013042 2017-11-01 2018-10-30 이미지 분류장치 및 방법 WO2019088673A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020543442A JP7019825B2 (ja) 2017-11-01 2018-10-30 画像分類装置及び方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170144731A KR102047936B1 (ko) 2017-11-01 2017-11-01 이미지 분류장치 및 방법
KR10-2017-0144731 2017-11-01

Publications (2)

Publication Number Publication Date
WO2019088673A2 true WO2019088673A2 (ko) 2019-05-09
WO2019088673A3 WO2019088673A3 (ko) 2019-06-20

Family

ID=66332110

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/013042 WO2019088673A2 (ko) 2017-11-01 2018-10-30 이미지 분류장치 및 방법

Country Status (3)

Country Link
JP (1) JP7019825B2 (ko)
KR (1) KR102047936B1 (ko)
WO (1) WO2019088673A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102601283B1 (ko) * 2021-02-02 2023-11-10 네이버 주식회사 경기 영상으로부터 타겟 영상 생성 시 불필요한 영상을 제거하기 위한 컴퓨터 시스템 및 그의 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092127A (ja) * 2004-09-22 2006-04-06 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、およびプログラム
JP2006115138A (ja) * 2004-10-14 2006-04-27 Sony Corp 画像形成装置、撮像装置、印刷装置、画像処理装置、画像形成方法及びプログラム
JP4809198B2 (ja) * 2006-11-29 2011-11-09 株式会社リコー 画像処理機器，記事画像選択方法，プログラム，および記録媒体
KR102048041B1 (ko) * 2013-04-18 2019-11-22 삼성전자주식회사 화면 분할 이미지를 생성하는 전자 장치 및 방법
KR101735664B1 (ko) 2014-10-14 2017-05-24 주식회사 넥스비즈코리아 모바일기기의 인식기술을 이용한 서비스 제공 시스템 및 방법
KR102255215B1 (ko) * 2014-12-12 2021-05-24 삼성전자주식회사 이미지에서 객체를 검출하는 객체 검출 방법 및 이미지 처리 장치
KR101585029B1 (ko) * 2015-05-13 2016-01-13 (주)코드원시스템 문서 인식 분류 시스템
KR101744163B1 (ko) * 2016-02-03 2017-06-07 김현철 이미지 관리용 애플리케이션 및 이미지 관리 방법
KR101721063B1 (ko) * 2016-12-02 2017-03-29 충남대학교산학협력단 이미지 파일에 포함된 개인정보 검색 방법 및 그 방법을 구현하는 프로그램을 기록한 기록매체

Also Published As

Publication number Publication date
KR102047936B1 (ko) 2019-11-22
WO2019088673A3 (ko) 2019-06-20
JP7019825B2 (ja) 2022-02-15
KR20190049169A (ko) 2019-05-09
JP2021501432A (ja) 2021-01-14

Similar Documents

Publication Publication Date Title
WO2018174623A1 (ko) 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법
CN110825765B (zh) 一种人脸识别的方法和装置
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2019164379A1 (en) Method and system for facial recognition
WO2019132589A1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
WO2013048162A2 (ko) 한정된 메모리 환경 하에서 얼굴 인식 성능 향상을 위한 참조 얼굴 데이터베이스 관리 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2014051246A1 (en) Method and apparatus for inferring facial composite
WO2019225964A1 (en) System and method for fast object detection
JP4444633B2 (ja) 画像分類装置、画像分類方法、および、プログラム
WO2017138766A1 (ko) 하이브리드 기반의 영상 클러스터링 방법 및 이를 운용하는 서버
WO2015102126A1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
WO2022131497A1 (ko) 이미지 생성을 위한 학습 장치 및 방법과 이미지 생성 장치 및 방법
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
WO2019156543A2 (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
WO2019088651A1 (ko) 소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법
WO2011055930A2 (ko) 그래프 컷의 초기값을 설정하는 방법, 단말 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2020032383A1 (ko) 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
WO2014088125A1 (ko) 영상 촬영 장치 및 그 방법
WO2019132093A1 (ko) 바코드 검출 장치 및 이를 이용한 바코드 검출 방법
WO2019088673A2 (ko) 이미지 분류장치 및 방법
WO2021085785A1 (en) Electronic apparatus and method for controlling thereof
WO2017111521A2 (ko) 부가정보를 포함하는 여권정보 변환장치
WO2020050550A1 (en) Methods and systems for performing editing operations on media
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
WO2017209468A1 (ko) 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18872338

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2020543442

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18872338

Country of ref document: EP

Kind code of ref document: A2