KR20190049169A - Apparatus and method for classifying images stored in a digital device - Google Patents

Apparatus and method for classifying images stored in a digital device Download PDF

Info

Publication number
KR20190049169A
KR20190049169A KR1020170144731A KR20170144731A KR20190049169A KR 20190049169 A KR20190049169 A KR 20190049169A KR 1020170144731 A KR1020170144731 A KR 1020170144731A KR 20170144731 A KR20170144731 A KR 20170144731A KR 20190049169 A KR20190049169 A KR 20190049169A
Authority
KR
South Korea
Prior art keywords
image
images
classifying
group
information
Prior art date
Application number
KR1020170144731A
Other languages
Korean (ko)
Other versions
KR102047936B1 (en
Inventor
박상표
남진하
김은택
Original Assignee
주식회사 안랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 안랩 filed Critical 주식회사 안랩
Priority to KR1020170144731A priority Critical patent/KR102047936B1/en
Priority to JP2020543442A priority patent/JP7019825B2/en
Priority to PCT/KR2018/013042 priority patent/WO2019088673A2/en
Publication of KR20190049169A publication Critical patent/KR20190049169A/en
Application granted granted Critical
Publication of KR102047936B1 publication Critical patent/KR102047936B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06K9/6267
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • G06K9/3258
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

According to one embodiment of the present invention, provided is an image classification apparatus for detecting personal information. The image classification apparatus classifies an image to be optically recognized in accordance with a predetermined classification standard and removes an image which is less likely to include personal information before performing optical recognition, thereby increasing optical recognition efficiency and reducing costs by reducing the number of optical images to be optically recognized for detecting personal information.

Description

이미지 분류장치 및 방법{APPARATUS AND METHOD FOR CLASSIFYING IMAGES STORED IN A DIGITAL DEVICE}[0001] APPARATUS AND METHOD FOR CLASSIFYING IMAGES STORED IN A DIGITAL DEVICE [0002]

본 발명은 이미지 분류 장치에 관한 것으로, 특히 광학 인식 대상 이미지에 대해 기설정된 분류 기준에 따라 분류하고, 개인정보가 존재할 가능성이 낮은 이미지를 광학 인식 수행전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 줄여 광학 인식 효율을 높이고 비용을 절감시킬 수 있도록 하는 개인정보 이미지 탐색을 위한 이미지 분류 장치 및 방법에 관한 것이다.More particularly, the present invention relates to an image classifying apparatus, and more particularly to an image classifying apparatus that classifies an image to be optically recognized according to a predetermined classification criterion, removes an image having low probability of existence of personal information before performing optical recognition, The present invention relates to an image classification apparatus and method for searching for a personal information image that can reduce the number of image recognition apparatuses and improve the optical recognition efficiency and cost.

최근 들어, 카메라 등으로부터 촬영된 이미지에 대해 광학 인식 기술을 적용하여 이미지로부터 다양한 정보를 분석하는 광학 인식 기술에 대한 연구가 활발히 진행되고 있으며, 이러한 광학 인식 기술을 통해 이미지에 포함된 사물을 식별하거나 텍스트 정보를 추출하는 것이 가능하다.In recent years, research on optical recognition technology for analyzing various information from images by applying optical recognition technology to images photographed from cameras has been actively conducted. Through such optical recognition technology, objects included in an image are identified It is possible to extract text information.

한편, 최근 들어 스마트폰의 보급이 급속도로 증가하고 있으며, 이러한 스마트폰에는 대부분이 고성능 카메라가 탑재되어 있어 사용자가 언제 어디서든 사진을 촬영할 수 있게 됨에 따라 대부분 사용자의 스마트폰에는 많은 수의 사진들이 저장되어 있다.On the other hand, in recent years, the spread of smart phones has been rapidly increasing. Most of these smart phones are equipped with high-performance cameras, so that users can take pictures anytime and anywhere. Therefore, Is stored.

현재 스마트 폰을 사용하는 사용자들의 대부분이 저장공간의 50% 정도를 사진 저장을 위해 사용되고 있으며, 사진의 수는 평균적으로 1000장 이상 정도로 추산된다. 이러한 사진들에 대해서도 광학 인식 기술을 이용하여 개인정보를 포함한 이미지에 포함된 다양한 정보를 추출할 수 있다.Currently, most users of smartphones use about 50% of their storage space for photo storage, with an average of more than 1000 photos. For these pictures, various information included in the image including the personal information can be extracted using the optical recognition technology.

그러나, 이러한 많은 이미지들 내에서 이미지들에 대한 광학 인식을 통해 개인정보 등을 확인하기 위해서는 많은 시간과 비용이 발생된다. However, it takes a lot of time and money to confirm personal information through optical recognition of images in many images.

위와 같은 광학 인식 기술를 적용하여 이미지 분석을 수행하여 주는 애플리케이션으로 예를 들어 Google Cloud Vision API 등이 존재하는데, 이러한 광학 인식 기술을 사용하게 되는 경우 광학 인식 대상이 되는 이미지의 수가 증가함에 따라 도 1에서 보여지는 바와 같이 광학 인식에 소요되는 시간과 비용이 기하 급수적으로 증가하는 문제점이 있었다. As an application that performs image analysis by applying the above-described optical recognition technology, for example, Google Cloud Vision API and the like exist. When the optical recognition technology is used, as the number of images to be optically recognized increases, There is a problem that the time and cost required for optical recognition increases exponentially as shown.

따라서, 광학 인식에 소요되는 시간과 비용을 줄이기 위해서는 광학 인식을 적용하기 전에 광학 인식 대상이 되는 이미지를 분석하고자 하는 정보에 대응되게 사전에 분류하여 이미지의 수를 최대한 줄이는 작업이 필요하다.Accordingly, in order to reduce the time and cost required for optical recognition, it is necessary to reduce the number of images as much as possible by classifying the images to be subjected to optical recognition in advance in correspondence with information to be analyzed before applying optical recognition.

(특허문헌)(Patent Literature)

대한민국 등록특허번호 10-1735664호(등록일자 2017년 05월 08일)Korean Registered Patent No. 10-1735664 (registered on May 08, 2017)

따라서, 본 발명의 일실시예에서는 광학 인식 대상 이미지에 대해 기설정된 분류 기준에 따라 분류하고, 개인정보가 존재할 가능성이 낮은 이미지를 광학 인식 수행전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 줄여 광학 인식 효율을 높이고 비용을 절감시킬 수 있도록 하는 개인정보 이미지 탐색을 위한 이미지 분류 장치 및 방법을 제공하고자 한다.Therefore, in an embodiment of the present invention, an image to be optically recognized is classified according to a predetermined classification criterion, and an image with low probability of existence of personal information is removed before performing optical recognition, And to reduce the cost of the image classification apparatus and method for searching personal information images.

상술한 본 발명의 일실시예에 따른 이미지 분류장치로서, 복수의 이미지를 포함하는 제1 이미지 그룹내 모든 이미지를 기설정된 기준에 따라 검사하여 제거 대상 이미지를 분류하고, 상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 이미지 분류부와, 상기 제2 이미지 그룹내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성하는 이미지 제작부를 포함한다.The image classifying apparatus according to an embodiment of the present invention may include an image classifying unit that classifies all images in a first image group including a plurality of images according to a preset reference to classify the image to be removed, An image classifying unit for generating a second image group including an image, and an image producing unit for selecting a predetermined number of images among the images included in the second image group and synthesizing the selected images into one image.

또한, 상기 이미지 분류부는, 상기 제1 그룹내 각 이미지에 대해 해상도를 검사하고, 상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 해상도 기반 분류부를 포함하는 것을 특징으로 한다. The image classifying unit may further include a resolution-based classifying unit for classifying the image into the removal object image by checking the resolution of each image in the first group and if the resolution is lower than a preset reference resolution.

또한, 상기 이미지 분류부는, 상기 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 상기 제거 대상 이미지로 분류하는 메타 데이터 기반 분류부를 더 포함하는 것을 특징으로 한다.The image classifying unit may further include a metadata-based classifying unit for classifying the image into the removal object image if the metadata information for each image in the first group is checked and the information related to the copyright is included .

또한, 상기 이미지 분류부는, 상기 제1 그룹내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하고, 상기 동일한 카메라에 의해 촬영된 각 이미지의 생성 시간 정보를 기반으로 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 연속사진 분류부를 더 포함하는 것을 특징으로 한다.The image classifying unit may classify the images captured by the same camera for each image in the first group and generate the image based on the generation time information of each image captured by the same camera, And a consecutive photograph classifying unit for classifying the remaining images into the removal object image, excluding one image selected arbitrarily from a plurality of images included in the range.

또한, 상기 이미지 분류부는, 상기 제1 그룹내 각 이미지에 대해 초점 불일치 정도를 검사하고, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 상기 제거 대상 이미지로 분류하는 초점 기반 분류부를 더 포함하는 것을 특징으로 한다.The image classifying unit may further include a focus-based classifier for classifying each image in the first group as the removal object image, and classifying the image as the removal object image if the degree of focus mismatch is greater than or equal to a predetermined reference mismatch degree .

또한, 상기 이미지 제작부는, 상기 제2 이미지 그룹내 포함된 각 이미지의 해상도를 검사하는 해상도 검사부와, 상기 제2 이미지 그룹내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 이미지 축소부와, 상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 이미지 합성부를 포함하는 것을 특징으로 한다.The image production unit may include a resolution check unit for checking the resolution of each image included in the second image group, and a controller for reducing each image included in the second image group to a predetermined ratio based on the checked resolution An image processing method comprising: an image reduction unit; an image processing unit that selects the predetermined number of images from the reduced image, and positions the reduced image in an area divided according to the predetermined number on the one image, And a synthesizing unit.

또한, 상기 이미지 제작부는, 상기 하나의 이미지에 포함된 상기 축소된 이미지 각각에 대한 식별정보와 상기 축소된 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 이미지 위치 기억부를 더 포함하는 것을 특징으로 한다.The image production unit may further include an image position storage unit for storing identification information for each of the reduced images included in the one image and area information on each of the reduced images, .

또한, 상기 장치는, 상기 이미지 제작부에서 상기 하나의 이미지에 포함된 복수의 이미지에 대해 상기 하나의 이미지에 대한 광학 인식 결과에 기반하여 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지를 분류하는 이미지 재분류부를 더 포함하는 것을 특징으로 한다.The apparatus may further include an image generation unit that generates an image in which the personal information exists in the plurality of images included in the one image based on the optical recognition result of the one image, And an image classifying unit for classifying the image.

또한, 상기 개인정보는, 상기 하나의 이미지에 포함된 텍스트 정보인 것을 특징으로 한다.The personal information may be text information included in the one image.

또한, 본 발명의 일실시예에 따른 이미지 분류방법으로서, 복수의 이미지를 포함하는 제1 이미지 그룹내 각 이미지를 기설정된 기준에 따라 검사하여 제거 대상 이미지를 분류하는 단계와, 상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 단계와, 상기 제2 이미지 그룹내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 제작하는 단계를 포함하는 것을 특징으로 한다.According to still another aspect of the present invention, there is provided an image classification method comprising the steps of: classifying an image to be removed into a first image group including a plurality of images, Generating a second image group including the remaining images, and selecting a predetermined number of images from the images included in the second image group to produce one image.

또한, 상기 분류하는 단계는, 상기 제1 그룹내 각 이미지에 대해 해상도를 검사하는 단계와, 상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.The classifying step may include the steps of: checking resolution of each image in the first group; and classifying the image into the removal object image if the resolution is lower than a predetermined reference resolution.

또한, 상기 분류하는 단계는, 상기 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하는 단계와, 상기 확인 결과 상기 메타 데이터 정보에 저작권과 관련된 정보가 포함되어 있는 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.In addition, the classifying step may include: checking metadata information of each image in the first group; and classifying the metadata as the removal target image if the metadata information includes copyright-related information The method comprising the steps of:

또한, 상기 분류하는 단계는, 상기 제1 그룹내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하는 단계와, 상기 동일한 카메라에 의해 촬영된 각 이미지의 생성된 시간 정보를 확인하는 단계와, 상기 시간 정보를 기반으로 이미지의 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.The classifying may further include classifying images taken by the same camera for each image in the first group, identifying generated time information of each image taken by the same camera, And classifying the remaining images into the removal object image, excluding one image selected arbitrarily among a plurality of images whose generation time of the image is included in the predetermined time interval range based on the time information .

또한, 상기 분류하는 단계는, 상기 제1 그룹내 각 이미지에 대해 초점 불일치 정도를 검사하는 단계와, 상기 검사결과, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정보 이상인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.The classifying step may include the steps of examining a degree of focus mismatch for each image in the first group, and classifying the image as the mismatching image when the degree of focus mismatch is equal to or greater than a predetermined reference mismatching degree information The method comprising the steps of:

또한, 상기 제작하는 단계는, 상기 제2 이미지 그룹내 포함된 각 이미지의 해상도를 검사하는 단계와, 상기 제2 이미지 그룹내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 단계와, 상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 단계를 포함하는 것을 특징으로 한다.In addition, the producing may include: checking the resolution of each image included in the second image group; and reducing each image included in the second image group to a predetermined ratio based on the examined resolution Selecting the predetermined number of images from among the reduced images, and compositing the reduced image into the one image by locating the reduced image in an area divided according to the predetermined number on the one image .

또한, 상기 제작하는 단계는, 상기 하나의 이미지에 포함된 복수의 축소된 이미지 각각에 대한 식별정보와 상기 축소된 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 단계를 더 포함하는 것을 특징으로 한다.The producing step may further include storing identification information of each of the plurality of reduced images included in the one image and area information of each of the reduced images located on the one image .

또한, 상기 방법은, 상기 하나의 이미지에 포함된 복수의 이미지에 대해 상기 하나의 이미지에 대한 광학 인식 결과에 기반하여 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지를 분류하는 단계를 더 포함하는 것을 특징으로 한다.The method may further include classifying an image in which the personal information exists and an image in which the personal information does not exist based on the optical recognition result for the one image with respect to the plurality of images included in the one image And further comprising:

본 발명의 일실시예에 따르면, 개인정보 탐색을 위한 이미지 분류 장치에 있어서, 광학 인식 대상 이미지에 대해 기설정된 분류 기준에 따라 분류하고, 개인정보가 존재할 가능성이 낮은 이미지를 광학 인식 수행전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 줄여 광학 인식 효율을 높이고 비용을 절감시킬 수 있다.According to an embodiment of the present invention, there is provided an image classification apparatus for searching personal information, comprising: classifying an image to be optically recognized according to a predetermined classification criterion; removing an image having low probability of existence of personal information before performing optical recognition; It is possible to reduce the number of optical recognition target images for searching personal information, thereby increasing the optical recognition efficiency and reducing the cost.

도 1은 종래 광학 인식 대상 이미지의 수에 따른 광학 인식 소요 시간 및 비용 예시도.
도 2는 본 발명의 일실시예에 따른 개인정보 이미지 탐색을 위한 이미지 분류 장치의 기능 블록 구성도.
도 3은 본 발명의 일실시예에 따른 복수의 이미지가 합성된 합성 이미지 예시도.
도 4는 본 발명의 일실시예에 따른 제1 이미지 분류부의 기능 블록 구성도.
도 5는 본 발명의 일실시예에 따른 이미지 제작부의 기능 블록 구성도.
도 6은 본 발명의 일실시예에 따른 이미지 분류장치에서 이미지를 분류하는 동작 제어 흐름도.
도 7은 본 발명의 일실시예에 따른 복수의 이미지가 합성된 하나의 이미지에서 광학 인식을 통해 개인정보가 인식된 영역 표시 개념도.
도 8은 본 발명의 일실시예에 따른 이미지 분류 후 광학 인식 시간과 비용 결과 예시도.
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view showing the time required for optical recognition and the cost according to the number of conventional optical recognition target images.
2 is a functional block diagram of an image classification apparatus for searching personal information image according to an embodiment of the present invention;
3 is a diagram illustrating a composite image in which a plurality of images are synthesized according to an embodiment of the present invention.
4 is a functional block diagram of a first image classifying unit according to an embodiment of the present invention;
5 is a functional block diagram of an image producing unit according to an embodiment of the present invention;
6 is a flowchart of an operation control for sorting an image in an image classification apparatus according to an embodiment of the present invention.
FIG. 7 is a conceptual diagram illustrating an area in which personal information is recognized through optical recognition in one image in which a plurality of images are synthesized according to an embodiment of the present invention. FIG.
FIG. 8 is an illustration of optical recognition time and cost results after image classification according to an embodiment of the present invention; FIG.

이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, the operation principle of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and these may be changed according to the intention of the user, the operator, or the like. Therefore, the definition should be based on the contents throughout this specification.

도 1은 본 발명의 일실시예에 따른 개인정보 이미지 탐색을 위한 이미지 분류 장치의 기능 블록 구성을 도시한 것이다.1 is a functional block diagram of an image classification apparatus for searching personal information images according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일시예에 따른 개인정보 탐색을 위한 이미지 분류장치(200)는 제1 이미지 분류부(202), 이미지 제작부(204), 제2 이미지 분류부(206) 등을 포함할 수 있다.1, an image classification apparatus 200 for searching personal information according to a temporal example of the present invention includes a first image classification unit 202, an image production unit 204, a second image classification unit 206, .

먼저, 제1 이미지 분류부(202)는 이미지 저장부(230)로부터 개인정보 추출을 위한 광학 인식 대상이 되는 복수의 이미지를 입력받는다. 이때, 이러한 복수의 이미지는 스마트폰, 디지털 카메라 등을 통해 촬영된 사진 등을 의미할 수 있으며, 개인정보는 이러한 이미지에 포함된 사용자의 개인정보로서 예를 들어 텍스트(text) 정보가 될 수 있다. 또한, 이러한 텍스트 정보는 예를 들어 여권 사진에 포함되어 있는 여권 번호, 주민등록증을 촬영한 사진에 포함되어 있는 주민등록번호, 영수증 또는 각종 문서를 촬영한 사진에 포함된 거래 정보, 증빙 정보 등이 될 수 있으나, 이에 한정되는 것은 아니다.First, the first image classifying unit 202 receives a plurality of images to be optically recognized for personal information extraction from the image storing unit 230. At this time, the plurality of images may mean a photograph taken through a smart phone, a digital camera, etc., and the personal information may be text information, for example, as personal information of the user included in the image . The text information may be, for example, a passport number included in the passport photo, a resident registration number included in the photograph of the resident ID card, transaction information included in the photograph of the receipt or various documents, evidence information, and the like , But is not limited thereto.

즉, 제1 이미지 분류부(202)는 위와 같은 복수의 이미지를 입력받는 경우, 복수의 이미지를 포함하는 제1 이미지 그룹을 생성하고, 제1 이미지 그룹내 포함된 각 이미지를 기설정된 기준에 따라 검사하여 개인정보가 존재할 가능성이 낮은 제거 대상 이미지를 분류한다. 이어, 제1 이미지 분류부(202)는 제1 이미지 그룹에서 위와 같이 분류된 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성한다.That is, when the above-described plurality of images are input, the first image classifying unit 202 generates a first image group including a plurality of images, and sets each image included in the first image group according to a preset reference And classifies the image to be removed with low probability of existence of personal information. Next, the first image classifying unit 202 generates a second image group including the remaining images except for the removal target image classified as above in the first image group.

이때, 제거 대상 이미지는 위와 같이 예시한 개인정보를 포함하고 있지 않은 이미지를 말하는 것으로, 이러한 개인정보를 포함하고 있지 않은 이미지를 분류하는 구체적인 방법에 대해서는 제1 이미지 분류부(202)의 상세 블록 구성을 도시한 도 4를 참조하여 상세히 후술하기로 한다.In this case, the removal target image refers to an image that does not include the personal information exemplified above. For a specific method of classifying the image that does not include such personal information, the detailed block configuration of the first image classifying unit 202 Will be described later in detail with reference to FIG.

이미지 제작부(204)는 제1 이미지 분류부(202)로부터 생성된 제2 이미지 그룹에 포함된 이미지에 대해 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성한다. 이때, 예를 들어 이미지 제작부(204)는 제2 이미지 그룹내 포함된 6개의 이미지를 선택하여 하나의 이미지로 합성할 수 있으나, 이에 한정되는 것은 아니다. The image producing unit 204 selects a predetermined number of images for the images included in the second image group generated from the first image classifying unit 202 and combines them into one image. At this time, for example, the image production unit 204 may synthesize six images included in the second image group into one image, but the present invention is not limited thereto.

또한, 이미지 제작부(204)는 6개의 이미지를 하나의 이미지에 합성함에 있어서 도 3에서 보여지는 바와 같이 하나의 이미지(300)를 6개의 영역으로 구분하고, 제2 그룹에서 선택된 6개의 이미지를 각 영역의 크기에 맞게 일정 비율로 축소한 후 축소된 이미지를 하나의 이미지(300)상 각 영역에 배치하는 것을 통해 하나의 이미지로 합성할 수 있다. 위와 같은 이미지 합성 동작에 대해서는 이미지 제작부(204)의 상세 블록 구성을 도시한 도 5를 참조하여 상세히 후술하기로 한다.In addition, the image production unit 204 divides one image 300 into six regions and combines the six images selected in the second group into three regions, as shown in FIG. 3, in synthesizing the six images into one image. It is possible to combine the reduced image into a single image by arranging the reduced image in each area on one image 300 after reducing it to a certain ratio according to the size of the area. The above-described image combining operation will be described later in detail with reference to FIG. 5 showing the detailed block configuration of the image producing unit 204. FIG.

2차 이미지 분류부(206)는 이미지 제작부(204)에서 생성된 복수의 이미지를 포함하도록 합성된 하나의 이미지에 대한 광학 인식 결과, 개인정보가 검출되는 경우 하나의 이미지내 포함된 복수의 이미지 중 개인정보가 검출된 이미지와 개인정보가 검출되지 않은 이미지를 분류한다. 이때, 2차 이미지 분류부(206)는 예를 들어 개인정보가 검출되지 않은 이미지는 일반 이미지로 분류하여 일반 이미지 그룹으로 관리할 수 있으며, 개인정보가 검출된 이미지는 개인정보 이미지로 분류하여 개인정보 이미지 그룹으로 관리할 수 있으나, 이에 한정되는 것은 아니다.The secondary image classifying unit 206 classifies a plurality of images included in one image as a result of optical recognition of one image synthesized to include a plurality of images generated by the image producing unit 204, The image in which the personal information is detected and the image in which the personal information is not detected are classified. In this case, the secondary image classification unit 206 classifies the images for which no personal information is detected as a general image, and manages them as a general image group. The image in which the personal information is detected is classified as a personal information image, But it is not limited thereto.

또한, 이때, 광학 인식이라 함은 이미지에 텍스트 등의 개인정보가 포함되어 있는 경우 이미지로부터 개인정보를 추출하는 기술을 말하는 것으로, 광학 인식을 통해 이미지내 개인정보가 분석될 수 있고, 추출된 개인정보별 이미지상 해당 개인정보가 검출된 위치 정보도 분석될 수 있다. In this case, optical recognition refers to a technique for extracting personal information from an image when personal information such as text is included in the image. Personal information in the image can be analyzed through optical recognition, The location information in which the corresponding personal information is detected in the information-based image can also be analyzed.

또한, 광학 인식은 본 발명의 일실시예에 따른 이미지 분류장치(200)가 탑재된 스마트폰(smartphone), 테블릿(tablet), 노트북, 데스크탑 PC 등의 컴퓨팅 장치에서 광학 인식을 수행하는 애플리케이션 등에 의해 실행된 후, 광학 인식 수행된 결과가 이미지 분류장치(200)로 제공될 수도 있으며, 유무선 통신망을 통해 연결되는 외부의 광학 인식 서버 등에서 실행된 후, 이미지 분류장치(200)로 제공될 수도 있다. The optical recognition may also be applied to an application for performing optical recognition in a computing device such as a smartphone, a tablet, a notebook, and a desktop PC equipped with the image classification apparatus 200 according to an embodiment of the present invention The result of the optical recognition may be provided to the image classification apparatus 200 or may be provided to the image classification apparatus 200 after being executed in an external optical recognition server or the like connected through a wired or wireless communication network .

도 4는 본 발명의 일실시예에 따른 제1 이미지 분류부의 기능 블록 구성을 도시한 것이다. 4 is a functional block diagram of a first image classifying unit according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일실시예에 따른 제1 이미지 분류부(202)는 해상도 기반 분류부(400), 메타 데이터 기반 분류부(402), 연속사진 분류부(404), 초점 기반 분류부(406) 등을 포함할 수 있다.Referring to FIG. 4, the first image classifier 202 according to an embodiment of the present invention includes a resolution-based classifier 400, a metadata-based classifier 402, a continuous picture classifier 404, A classification unit 406, and the like.

해상도 기반 분류부(400)는 제1 그룹내 각 이미지에 대해 해상도를 검사하고, 해상도가 기설정된 기준 해상도 이하인 경우 제거 대상 이미지로 분류한다. 이때, 기준 해상도는 예를 들어 스마트폰의 경우 상대적으로 해상도가 낮은 전면 카메라로 사용자 자신을 촬영한 이미지에서 나타나는 해상도로 정해질 수 있으며, 이에 따라 전면 카메라를 이용하여 사용자 자신을 촬영한 이미지는 개인정보가 존재할 가능성이 낮은 제거 대상 이미지로 분류될 수 있으나, 이에 한정되는 것은 아니다. 즉, 기준 해상도는 제거 대상 이미지로 분류할 사진을 어떤 것으로 결정하느냐에 따라 선택적으로 변경 설정 가능하다. The resolution-based classification unit 400 examines the resolution of each image in the first group, and classifies the image as a removal target image when the resolution is lower than a preset reference resolution. At this time, the reference resolution can be set to a resolution that appears in an image taken by the user with a relatively low resolution front camera, for example, in the case of a smart phone, and accordingly, But the present invention is not limited thereto. That is, the reference resolution can be selectively changed depending on which image is to be classified as the image to be removed.

메타 데이터 기반 분류부(402)는 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 개인정보가 존재할 가능성이 낮은 제거 대상 이미지로 분류할 수 있다. 이때, 저작권 관련된 정보가 포함된 이미지는 예를 들어 사용자 자신이 아닌 제3자에 의해 생성된 이미지를 의미할 수 있으며, 이러한 이미지는 예를 들어 기업 등에서 제작한 이미지 또는 사진 작가 등에 의해 촬영된 이미지 등이 될 수 있다. 이와 같은 이미지에는 이미지 데이터의 내부에 포함된 메타 데이터 정보에 해당 이미지를 제작한 벤더(vender)나, 사진 작가의 식별 정보가 포함될 수 있고, 해당 이미지를 촬영한 카메라의 모델명 등의 정보가 포함될 수 있는데, 저작권 관련 정보는 이러한 정보 등을 의미할 수 있으나 이에 한정되는 것은 아니다.The metadata-based classification unit 402 may identify the metadata information about each image in the first group and classify the image as a removal target image having low possibility of existence of personal information when information related to copyright is included. At this time, the image including the copyright-related information may mean, for example, an image generated by a third party other than the user himself. Such an image may be, for example, an image produced by a corporation or the like, And the like. Such an image may include identification information of a vendor or a photographer who created the image in the metadata information included in the image data, and may include information such as the model name of the camera that photographed the image However, the copyright related information may mean such information, but is not limited thereto.

연속사진 분류부(404)는 제1 그룹내 모든 이미지에 대해 동일한 카메라로부터 생성된 이미지를 분류하고, 동일한 카메라로부터 생성된 이미지에 대해 다시 각 이미지가 생성된 시간 정보를 확인한 후, 각 이미지가 생성된 시점이 기설정된 시간 간격 범위 내에 포함되는 해당 이미지를 제거 대상 이미지로 분류한다. 이때, 기설정된 기준 시간 간격 범위는 예를 들어 스마트폰, 디지털 카메라 등에 구비되는 연속사진 촬영 모드시 설정된 시간 간격으로 정해질 수 있으며, 이러한 기준 시간 간격 범위내에서 생성된 이미지는 연속사진 촬영에 의해 생성된 것을 의미할 수 있다. 또한, 연속사진 촬영에 의해 생성된 이미지는 비슷한 정보를 포함하고 있을 가능성이 높으므로, 연속사진 촬영으로 생성된 이미지가 복수개인 경우 하나의 이미지를 제외하고 나머지 이미지에 대해서는 제어 대상 이미지로 분류할 수 있으나, 이에 한정되는 것은 아니다.초점 기반 분류부(406)는 제1 그룹내 각 이미지에 대해 초점 불일치(blur) 정도를 검사하고, 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 제거 대상 이미지로 분류한다. 이때, 기설정된 기준 초점 불일치 정도는 스마트폰, 디지털 카메라 등을 통해 촬영된 이미지가 초점이 맞지 않게 촬영되어 이미지상 초점 불일치가 발생한 경우, 초점 불일치가 발생한 정도를 백분율로 표시한 것을 의미할 수 있다. 이때, 이러한 기준 초점 불일치 정도는 예를 들어 0이 초점이 정확히 맞은 것을 나타내고 100이 초점이 완전히 불일치한 것을 나타낸다고 가정하는 경우 초점 불일치에도 불구하고 이미지에서 개인정보를 추출할 수 있는 실험치로 정해질 수 있다. 즉, 이러한 초점 불일치 정도는 예를 들어 0~20으로 정해질 수 있고 초점 불일치 정도가 20이상이 되는 이미지는 개인정보의 추출이 어려운 제거 대상 이미지로 분류되도록 할 수 있으나, 이에 한정되는 것은 아니다.The continuous picture classifying unit 404 classifies the images generated from the same camera for all the images in the first group, and confirms the generated time information for each of the images generated from the same camera. Then, And the corresponding image within the predetermined time interval range is classified as the removal target image. At this time, the predetermined reference time interval range may be set to a time interval set in a continuous photographing mode, for example, a smart phone, a digital camera, etc., It can mean that it has been created. In addition, since the image generated by continuous photographing is likely to contain similar information, when there are a plurality of images generated by continuous photographing, one image can be excluded and the remaining images can be classified as a control target image The focus-based classifier 406 examines the degree of focus blur for each image in the first group, and when the degree of focus mismatch is equal to or greater than the predetermined reference mismatch degree, Classify. At this time, the predetermined reference focal point mismatch degree may indicate that the degree of the focal mismatch is expressed as a percentage when an image photographed through a smart phone, a digital camera, or the like is photographed out of focus and an image mismatch occurs in the image . In this case, the degree of the reference focus discrepancy can be determined as an experimental value capable of extracting the personal information from the image despite the focus discrepancy, for example, when 0 indicates that the focus is correctly focused and 100 indicates that the focus is completely discordant have. That is, the degree of focus discrepancy can be set to, for example, 0 to 20, and the image having the degree of focus discrepancy of 20 or more can be classified as an image to be removed, which is difficult to extract personal information.

도 5는 본 발명의 일실시예에 따른 이미지 제작부의 기능 블록 구성을 도시한 것이다. 5 is a functional block diagram of an image producing unit according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일실시예에 따른 이미지 제작부(204)는 해상도 검사부(500), 이미지 축소부(502), 이미지 합성부(504), 이미지 위치 기억부(506) 등을 포함할 수 있다.5, an image producing unit 204 according to an embodiment of the present invention includes a resolution checking unit 500, an image reducing unit 502, an image combining unit 504, an image position storing unit 506, and the like can do.

해상도 검사부(500)는 1차 분류된 이미지를 제외한 개인정보가 존재할 가능성이 높은 이미지들로 구성되는 제2 이미지 그룹내 각 이미지의 해상도를 검사하고, 검사된 이미지별 해상도에 대한 정보를 이미지 축소부(502)로 제공한다.The resolution checking unit 500 checks the resolution of each image in the second image group, which is composed of images with high possibility of existence of personal information except for the primary classified image, (502).

이때, 제2 이미지 그룹내 포함된 이미지는 1차 분류를 통해 기설정된 기준 해상도 이상인 이미지가 포함된 상태이나, 이미지별로 해상도는 서로 다를 수 있다. 이러한 제2 이미지 그룹내 포함된 이미지는 이미지 축소부(502)를 통해 원래 이미지가 가지고 있는 해상도를 기반으로 일정 크기로 축소되어야 하기 때문에 이미지별 해상도를 검사하는 것이 필요하다. At this time, the images included in the second image group include images having a predetermined reference resolution or higher through the primary classification, but the resolutions may be different from each other. Since the image included in the second image group must be reduced to a predetermined size based on the resolution of the original image through the image shrinking unit 502, it is necessary to check the resolution of each image.

이미지 축소부(502)는 제2 그룹내 포함된 각 이미지를 각 이미지의 해상도에 기반하여 기설정된 비율로 축소시킨다. 제2 그룹내 포함된 각 이미지는 1차 분류를 통해 개인정보가 존재할 가능성이 높은 이미지로 분류된 상태로 광학 인식의 대상이 되는 이미지일 수 있다. 이러한 이미지 각각에 대해 광학 인식을 수행하는 경우 여전히 광학 인식에 소요되는 비용이 상대적으로 증가할 수 있으며 외부에 위치한 광학 인식 서버로 전송하는 경우 데이터 전송 효율이 저하될 수 있다. 따라서, 광학 인식 효율을 높이기 위해 본 발명의 일실시예에서는 복수의 축소된 이미지를 합성하여 하나의 이미지로 제작하여 광학 인식 효율을 높이도록 한다. The image reduction unit 502 reduces each image included in the second group to a predetermined ratio based on the resolution of each image. Each image included in the second group may be an image to be subjected to optical recognition in a state classified as an image in which personal information is likely to exist through the primary classification. When optical recognition is performed for each of these images, the cost for optical recognition may increase relatively, and data transmission efficiency may be lowered when the optical recognition server is transmitted to an external optical recognition server. Therefore, in order to increase the optical recognition efficiency, in one embodiment of the present invention, a plurality of reduced images are synthesized to be one image, thereby improving the optical recognition efficiency.

즉, 이미지 축소부(502)는 하나의 이미지에 들어갈 축소된 이미지의 수가 정해진 경우 이미지의 수에 따라 하나의 이미지상 각 이미지가 차지하는 영역의 크기를 고려하여 해당 영역의 크기에 맞게 원래 이미지를 특정 비율로 축소시키게 된다. In other words, when the number of reduced images to be included in one image is determined, the image reducing unit 502 determines the original image according to the size of the corresponding area in consideration of the size of the area occupied by each image on one image according to the number of images .

이미지 합성부(504)는 이미지 축소부(502)를 통해 일정 비율로 축소된 이미지 중 하나의 이미지로 합성할 기설정된 개수의 이미지를 선택하고, 선택된 이미지를 하나의 이미지상 기설정된 개수에 맞게 구분된 각 영역에 위치시켜 하나의 이미지로 합성한다.The image synthesizing unit 504 selects a predetermined number of images to be synthesized into one image out of the reduced images at a predetermined ratio through the image reducing unit 502 and separates the selected images into a predetermined number of images And then synthesized into one image.

이미지 위치 기억부(506)는 이미지 합성부(504)에서 합성되는 하나의 이미지별 포함되는 복수의 축소된 이미지 각각에 대한 식별정보와 해당 하나의 이미지상 위치된 영역에 대한 정보를 저장한다.The image position storage unit 506 stores identification information of each of a plurality of reduced images included in one image synthesized by the image synthesis unit 504 and information on an area located on the corresponding image.

이때, 위와 같이 이미지 합성이 완료된 하나의 이미지는 이미지 분류장치(200)내 구비되는 광학 인식 장치 또는 유무선 통신망을 통해 연결된 광학 인식 서버(250)를 통해 광학 인식이 수행될 수 있으며, 하나의 이미지내에서 검출된 개인정보와 각 개인정보가 검출된 해당 이미지상 위치정보를 포함하는 광학 인식 결과가 제2 이미지 분류부(206)로 제공될 수 있다.At this time, one image having been subjected to image synthesis as described above may be optically recognized through an optical recognition device provided in the image classification device 200 or an optical recognition server 250 connected through a wired / wireless communication network, The second image classifier 206 may be provided with an optical recognition result that includes the personal information detected in the first image classifier 206 and the corresponding image position information in which the individual information is detected.

그러면 제2 이미지 분류부(206)는 위와 같이 광학 인식이 수행되어 하나의 이미지에서 검출된 개인정보와 하나의 이미지상에서 개인정보가 검출된 위치정보를 수신하는 경우, 이미지 위치 기억부(506)에 저장된 정보를 이용하여 하나의 이미지상 개인정보가 검출된 각 이미지를 판별하여 개인정보가 있는 이미지와 개인정보가 없는 이미지를 분류하게 되는 것이다. When the second image classifier 206 receives the personal information detected in one image and the position information in which the personal information is detected in one image by performing the optical recognition as described above, Each image in which individual information is detected on one image is discriminated using stored information, and an image having personal information and an image having no personal information are classified.

이때, 제2 이미지 분류부(206)는 앞서 설명한 바와 같이 예를 들어 개인정보가 검출되지 않은 이미지는 일반 이미지로 분류하여 일반 이미지 그룹으로 관리할 수 있으며, 개인정보가 검출된 이미지는 개인정보 이미지로 분류하여 개인정보 이미지 그룹으로 관리할 수 있다.In this case, the second image classifying unit 206 may classify an image for which no personal information is detected as a general image, for example, as a general image group, as described above, And can be managed as a personal information image group.

도 6은 본 발명의 일실시예에 따른 이미지 분류장치에서 이미지를 분류하는 동작 제어 흐름을 도시한 것이다. 이하, 도 2 내지 도 6을 참조하여 본 발명의 일실시예에 따른 동작을 상세히 설명하기로 한다.6 shows an operation control flow for classifying an image in an image classification apparatus according to an embodiment of the present invention. Hereinafter, an operation according to an embodiment of the present invention will be described in detail with reference to FIG. 2 to FIG.

먼저, 이미지 분류장치(200)는 이미지 저장부(230)로부터 개인정보 추출을 위한 광학 인식 대상이 되는 복수의 이미지를 입력받는다(S600). 이때, 이러한 이미지는 스마트폰, 디지털 카메라 등을 통해 촬영된 사진 등을 의미할 수 있으며, 개인정보는 이러한 이미지에 포함된 사용자의 개인정보로서 예를 들어 텍스트 정보가 될 수 있다.First, the image classification apparatus 200 receives a plurality of images to be optically recognized for personal information extraction from the image storage unit 230 (S600). At this time, the image may be a photograph taken through a smart phone, a digital camera, or the like, and the personal information may be text information, for example, as personal information of the user included in the image.

이어, 이미지 분류장치(200)는 위와 같이 복수의 이미지를 입력받는 경우, 복수의 이미지를 포함하는 제1 이미지 그룹을 생성하고, 제1 이미지 그룹내 포함된 각 이미지를 기설정된 기준에 따라 검사하여 개인정보가 존재할 가능성이 낮은 제거 대상 이미지를 분류하는 1차 분류를 수행한다(S602).When the plurality of images are input as described above, the image classification apparatus 200 generates a first image group including a plurality of images, and examines each image included in the first image group according to a preset reference A primary classification for classifying the image to be removed having a low probability of existence of personal information is performed (S602).

이때, 이미지 분류장치(200)는 1차 분류를 수행함에 있어서, 제1 그룹내 각 이미지에 대해 해상도를 검사하고, 해상도가 기설정된 기준 해상도 이하인 경우 제거 대상 이미지로 분류한다(S602-1). 이때, 기준 해상도는 예를 들어 스마트폰의 경우 상대적으로 해상도가 낮은 전면 카메라로 사용자 자신을 촬영한 이미지에서 나타나는 해상도로 정해질 수 있으며, 이에 따라 전면 카메라를 이용하여 사용자 자신을 촬영한 이미지는 개인정보가 존재할 가능성이 낮은 제거 대상 이미지로 분류될 수 있다.At this time, the image classifying apparatus 200 checks the resolution of each image in the first group in the first classification, and classifies the image as a removal target image if the resolution is lower than the preset reference resolution (S602-1). At this time, the reference resolution can be set to a resolution that appears in an image taken by the user with a relatively low resolution front camera, for example, in the case of a smart phone, and accordingly, It can be classified as a removal object image in which the possibility that information exists is low.

또한, 이미지 분류장치(200)는 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 제거 대상 이미지로 분류한다(S602-2). 이때, 저작권 관련된 정보가 포함된 이미지는 예를 들어 사용자 자신이 아닌 제3자에 의해 생성된 이미지를 의미할 수 있으며, 이러한 이미지는 예를 들어 기업 등에서 제작한 이미지 또는 사진 작가 등에 의해 촬영된 이미지 등이 될 수 있다. In addition, the image classification apparatus 200 checks the metadata information about each image in the first group and classifies the image as a removal target image if information related to copyright is included (S602-2). At this time, the image including the copyright-related information may mean, for example, an image generated by a third party other than the user himself. Such an image may be, for example, an image produced by a corporation or the like, And the like.

또한, 이미지 분류장치(200)는 제1 그룹내 모든 이미지에 대해 동일 카메라에 의해 촬영된 이미지를 분류한 후, 동일 카메라에 의해 촬영된 각 이미지의 생성된 시간 정보를 확인하고, 각 이미지가 생성된 시점이 기설정된 시간 간격 범위 내에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 제거 대상 이미지로 분류한다(S602-3). 이때, 기설정된 기준 시간 간격 범위는 예를 들어 스마트폰, 디지털 카메라 등에 구비되는 연속사진 촬영 모드시 설정된 시간 간격으로 정해질 수 있으며, 이러한 기준 시간 간격 범위내에서 생성된 이미지는 연속사진 촬영에 의해 생성된 것을 의미할 수 있다.In addition, the image classifying apparatus 200 classifies the images photographed by the same camera for all the images in the first group, then confirms the generated time information of each image photographed by the same camera, (S602-3) except that one image is arbitrarily selected from a plurality of images included in the predetermined time interval range. At this time, the predetermined reference time interval range may be set to a time interval set in a continuous photographing mode, for example, a smart phone, a digital camera, etc., It can mean that it has been created.

또한, 이미지 분류장치(200)는 제1 그룹내 각 이미지에 대해 초점 불일치(blur) 정도를 검사하고, 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 제거 대상 이미지로 분류한다(S602-4). 이때, 기설정된 기준 초점 불일치 정도는 스마트폰, 디지털 카메라 등을 통해 촬영된 이미지가 초점이 맞지 않게 촬영되어 이미지상 초점 불일치가 발생한 경우, 초점 불일치가 발생한 정도를 백분율로 표시한 것을 의미할 수 있다.In addition, the image classification apparatus 200 checks the degree of focus blur for each image in the first group, and classifies the image as a removal target image when the degree of focus mismatch is equal to or greater than a predetermined reference mismatch degree (S602-4) . At this time, the predetermined reference focal point mismatch degree may indicate that the degree of the focal mismatch is expressed as a percentage when an image photographed through a smart phone, a digital camera, or the like is photographed out of focus and an image mismatch occurs in the image .

위와 같이 이미지 분류장치(200)는 1차 분류를 통해 제1 이미지 그룹에서 개인정보가 존재할 가능이 낮은 제거 대상 이미지(사진 A)를 제외시키고(S604), 제거 대상 이미지를 제외한 나머지 이미지를 취합하여 제2 이미지 그룹(사진 B)을 생성한다(S606).As described above, the image classifying device 200 eliminates the removal target image (photo A) in which the personal information in the first image group is unlikely to exist in the first image group (S604), collects the remaining images excluding the removal target image And generates a second image group (photo B) (S606).

이어, 이미지 분류장치(200)는 제2 이미지 그룹에 포함된 이미지에 대해 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성한다(S608). 이때, 예를 들어 이미지 분류장치(200)는 제2 이미지 그룹내 포함된 6개의 이미지를 선택하여 하나의 이미지로 합성할 수 있으나, 이에 한정되는 것은 아니다. 또한, 이미지 분류장치(200)는 6개의 이미지를 하나의 이미지에 합성함에 있어서 상기한 도 3에서 보여지는 바와 같이 하나의 이미지(300)를 6개의 영역으로 구분하고, 제2 그룹에서 선택된 6개의 이미지를 각 영역의 크기에 맞게 일정 비율로 축소한 후 축소된 이미지를 하나의 이미지(300)상 각 영역에 배치하는 것을 통해 하나의 이미지를 합성할 수 있다.Next, the image classification apparatus 200 selects a predetermined number of images for the images included in the second image group and synthesizes them into one image (S608). At this time, for example, the image classification apparatus 200 may synthesize six images included in the second image group into one image, but the present invention is not limited thereto. 3, the image classifying apparatus 200 divides one image 300 into six regions and combines the six images selected in the second group into six regions, One image can be synthesized by reducing the image to a size corresponding to the size of each area and then placing the reduced image on each area on one image 300.

위와 같이 1차 분류된 복수의 이미지를 포함하도록 합성된 하나의 이미지는 시스템 내부의 탑재된 광학 인식 장치 또는 유무선 통신망을 통해 연결된 외부의 광학 인식 서버(250) 등에서 광학 인식이 수행되어 이미지내에 포함된 텍스트 등의 개인정보가 추출되는 광학 인식이 수행되고, 광학 인식 결과가 이미지 분류장치(200)로 입력될 수 있다(S610). One image synthesized so as to include a plurality of images classified in the above-described primary classification is optically recognized by an optical recognition apparatus mounted in the system or an external optical recognition server 250 connected through a wire / wireless communication network, An optical recognition in which personal information such as text is extracted is performed, and the optical recognition result may be input to the image classification apparatus 200 (S610).

그러면, 이미지 분류장치(200)는 위와 같이 광학 인식 결과가 입력되는 경우, 광학 인식 결과를 기반으로 하나의 이미지내 포함된 복수의 이미지 중 개인정보가 검출된 이미지와 개인정보가 검출되지 않은 이미지를 분류하는 2차 분류를 수행한다(S612). If the result of the optical recognition is input as described above, the image classification apparatus 200 may extract an image in which the personal information is detected and an image in which the personal information is not detected, from a plurality of images included in one image based on the optical recognition result (S612). ≪ / RTI >

도 7은 복수의 이미지가 합성된 하나의 이미지에서 광학 인식을 통해 개인정보가 인식된 영역을 표시한 것이다. FIG. 7 shows an area where personal information is recognized through optical recognition in one image in which a plurality of images are synthesized.

이미지 분류장치(200)는 도 7에서와 같이 광학 인식 결과로 입력되는 개인정보와 개인정보가 검출된 위치정보를 기반으로 복수의 이미지가 합성된 하나의 이미지에서 개인정보가 검출된 이미지와 개인정보가 검출되지 않은 이미지를 식별하여 2차 분류를 수행하는 것이다.7, the image classification apparatus 200 generates an image in which the personal information is detected in one image in which a plurality of images are synthesized based on the personal information input as a result of optical recognition and the position information in which the personal information is detected, And the second classification is performed.

이어, 이미지 분류장치(200)는 예를 들어 개인정보가 검출되지 않은 이미지는 일반 이미지로 분류하여 일반 이미지 그룹으로 관리할 수 있으며(S614), 개인정보가 검출된 이미지는 개인정보 이미지로 분류하여 개인정보 이미지 그룹으로 관리할 수 있다(S614).Then, the image classification apparatus 200 classifies the images for which no personal information is detected as a general image and manages them as a general image group (S614). The image in which the personal information is detected is classified as a personal information image And may be managed as a personal information image group (S614).

이에 따라, 광학 인식 대상 이미지에 대해 기설정된 분류 기준에 따라 분류하여 개인정보가 존재할 가능성이 낮은 이미지를 사전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 대폭 줄일 수 있으며, 광학 인식 효율을 높이고 비용을 절감시킬 수 있게 된다.Accordingly, it is possible to greatly reduce the number of images to be optically recognized for personal information search by removing images with low probability of existence of personal information by classifying the images to be optically recognized according to predetermined classification criteria, And the cost can be reduced.

도 8은 본 발명의 일실시예에 따른 이미지 분류 후 광학 인식 시간과 비용 결과 예시도이다.8 is a diagram illustrating an example of optical recognition time and cost results after image classification according to an embodiment of the present invention.

도 8에서 보여지는 바와 같이 본 발명의 일실시예에 따른 이미지 분류 결과 예를 들어 사용자 A의 경우 1000장의 광학 인식 대상 이미지가 1차 분류와 이미지 합성을 통해 약 100장으로 줄어들어 비용과 광학 인식에 소요되는 시간이 대폭 줄어든 것을 확인할 수 있으며, 사용자 B,C,D의 경우도 동일한 효과가 발생한 것을 확인할 수 있다. As shown in FIG. 8, in the case of the image classification result according to an embodiment of the present invention, for example, in the case of the user A, 1000 optical recognition target images are reduced to about 100 through the first classification and image synthesis, It can be confirmed that the time required is greatly reduced, and that the same effect is also obtained in the case of users B, C, and D.

이때, 위와 같은 광학 인식에 소요되는 시간과 비용의 계산은 설명의 편의상 예를 들어 Google Cloud Vision API를 광학 인식 서버로 이용한 경우를 예시한 것일 뿐, 다른 광학 인식 서버를 이용하거나 시스템 내부에 광학 인식 모듈을 탑재하는 경우에도 동일한 결과가 도출되리라는 것은 당업자에게 자명하게 이해될 수 있다.In this case, the calculation of the time and cost required for the above-described optical recognition is merely an example of using the Google Cloud Vision API as an optical recognition server for the convenience of explanation, It will be understood by those skilled in the art that the same result will be obtained even when the module is mounted.

본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. Combinations of the steps of each flowchart attached to the present invention may be performed by computer program instructions. These computer program instructions may be loaded into a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus so that the instructions, which are executed via a processor of a computer or other programmable data processing apparatus, Lt; / RTI > These computer program instructions may also be stored in a computer usable or computer readable memory capable of directing a computer or other programmable data processing apparatus to implement the functionality in a particular manner so that the computer usable or computer readable memory It is also possible to produce manufacturing items that contain instruction means for performing the functions described in each step of the flowchart. Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible for the instructions to perform the processing equipment to provide steps for executing the functions described in each step of the flowchart.

또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments, the functions mentioned in the steps may occur out of order. For example, the two steps shown in succession may in fact be performed substantially concurrently, or the steps may sometimes be performed in reverse order according to the corresponding function.

한편 상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention. Accordingly, the scope of the invention should not be limited by the described embodiments but should be defined by the appended claims.

200 : 이미지 분류장치 202 : 제1 이미지 분류부
204 : 이미지 제작부 206 : 제2 이미지 분류부
230 : 이미지 저장부 250 : 광학 인식 서버
400 : 해상도 기반 분류부 402 : 메타 데이터 기반 분류부
404 : 연속사진 분류부 406 : 초점 기반 분류부
500 : 해상도 검사부 502 : 이미지 축소부
504 : 이미지 합성부 506 : 이미지 위치 기억부
200: image classifying apparatus 202: first image classifying unit
204: image production unit 206: second image classification unit
230: Image storage unit 250: Optical recognition server
400: resolution-based classification unit 402: metadata-based classification unit
404: Continuous picture classifying unit 406: Focus-based classifying unit
500: resolution checker 502:
504: image synthesis unit 506: image position storage unit

Claims (17)

복수의 이미지를 포함하는 제1 이미지 그룹내 모든 이미지를 기설정된 기준에 따라 검사하여 제거 대상 이미지를 분류하고, 상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 이미지 분류부와,
상기 제2 이미지 그룹내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성하는 이미지 제작부를 포함하는
이미지 분류장치.
An image classifying unit for classifying an image to be removed by checking all the images in the first image group including a plurality of images according to a preset reference and generating a second image group including the remaining images excluding the removal target image, ,
And an image producing unit for selecting a predetermined number of images among the images included in the second image group and synthesizing them into one image
Image classification device.
제 1 항에 있어서,
상기 이미지 분류부는,
상기 제1 그룹내 각 이미지에 대해 해상도를 검사하고, 상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 해상도 기반 분류부를 포함하는
이미지 분류장치.
The method according to claim 1,
Wherein the image classifier comprises:
And a resolution-based classifying unit for classifying the image into the removal object image if the resolution is equal to or less than a preset reference resolution,
Image classification device.
제 1 항에 있어서,
상기 이미지 분류부는,
상기 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 상기 제거 대상 이미지로 분류하는 메타 데이터 기반 분류부를 더 포함하는
이미지 분류장치.
The method according to claim 1,
Wherein the image classifier comprises:
And a metadata-based classifying unit for classifying the image into the removal object image by checking metadata information of each image in the first group and if information related to copyright is included
Image classification device.
제 1 항에 있어서,
상기 이미지 분류부는,
상기 제1 그룹내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하고, 상기 동일한 카메라에 의해 촬영된 각 이미지의 생성 시간 정보를 기반으로 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 연속사진 분류부를 더 포함하는
이미지 분류장치.
The method according to claim 1,
Wherein the image classifier comprises:
Wherein the image processing unit classifies images taken by the same camera for each image in the first group and generates a plurality of images including a generation time point within a predetermined time interval range based on generation time information of each image taken by the same camera Further comprising a consecutive photo classifying unit for classifying the remaining images into the removal subject image except one image selected at random
Image classification device.
제 1 항에 있어서,
상기 이미지 분류부는,
상기 제1 그룹내 각 이미지에 대해 초점 불일치 정도를 검사하고, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 상기 제거 대상 이미지로 분류하는 초점 기반 분류부를 더 포함하는
이미지 분류장치.
The method according to claim 1,
Wherein the image classifier comprises:
Further comprising a focus-based classifying unit for classifying each image in the first group as the removal object image, and if the degree of focus mismatch is greater than or equal to a predetermined reference mismatch degree,
Image classification device.
제 1 항에 있어서,
상기 이미지 제작부는,
상기 제2 이미지 그룹내 포함된 각 이미지의 해상도를 검사하는 해상도 검사부와,
상기 제2 이미지 그룹내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 이미지 축소부와,
상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 이미지 합성부를 포함하는
이미지 분류장치.
The method according to claim 1,
The image producing unit may include:
A resolution checker for checking the resolution of each image included in the second image group;
An image reduction unit for reducing each image included in the second image group to a predetermined ratio based on the examined resolution,
And an image combining unit for selecting the predetermined number of images from among the reduced images, and compositing the reduced image into the one image by positioning the reduced image in an area divided according to the predetermined number on the one image
Image classification device.
제 6 항에 있어서,
상기 이미지 제작부는,
상기 하나의 이미지에 포함된 상기 축소된 이미지 각각에 대한 식별정보와 상기 축소된 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 이미지 위치 기억부를 더 포함하는
이미지 분류장치.
The method according to claim 6,
The image producing unit may include:
And an image position storage unit for storing identification information for each of the reduced images included in the one image and area information for each of the reduced images located on the one image,
Image classification device.
제 1 항에 있어서,
상기 장치는,
상기 이미지 제작부에서 상기 하나의 이미지에 포함된 복수의 이미지에 대해 상기 하나의 이미지에 대한 광학 인식 결과에 기반하여 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지를 분류하는 이미지 재분류부를 더 포함하는
The method according to claim 1,
The apparatus comprises:
And an image reclassifier for classifying an image in which the personal information exists and an image in which the personal information does not exist, based on the optical recognition result of the one image, for the plurality of images included in the one image, More included
제 8 항에 있어서,
상기 개인정보는,
상기 하나의 이미지에 포함된 텍스트 정보인
이미지 분류장치.
9. The method of claim 8,
The personal information includes:
The text information included in the one image
Image classification device.
복수의 이미지를 포함하는 제1 이미지 그룹내 각 이미지를 기설정된 기준에 따라 검사하여 제거 대상 이미지를 분류하는 단계와,
상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 단계와,
상기 제2 이미지 그룹내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 제작하는 단계를 포함하는
이미지 분류방법.
Classifying each image in the first image group including a plurality of images according to a predetermined criterion to classify the image to be removed,
Generating a second image group including the remaining images excluding the removal target image,
Selecting a predetermined number of images from among the images included in the second image group to produce one image;
Image classification method.
제 10 항에 있어서,
상기 분류하는 단계는,
상기 제1 그룹내 각 이미지에 대해 해상도를 검사하는 단계와,
상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는
이미지 분류방법.
11. The method of claim 10,
Wherein said classifying comprises:
Checking the resolution for each image in the first group,
And classifying the image as the removal object image if the resolution is less than or equal to a preset reference resolution
Image classification method.
제 10 항에 있어서,
상기 분류하는 단계는,
상기 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하는 단계와,
상기 확인 결과 상기 메타 데이터 정보에 저작권과 관련된 정보가 포함되어 있는 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는
이미지 분류방법.
11. The method of claim 10,
Wherein said classifying comprises:
Identifying metadata information for each image in the first group;
And classifying the metadata information into the removal object image if information related to copyright is included in the metadata information
Image classification method.
제 10 항에 있어서,
상기 분류하는 단계는,
상기 제1 그룹내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하는 단계와,
상기 동일한 카메라에 의해 촬영된 각 이미지의 생성된 시간 정보를 확인하는 단계와,
상기 시간 정보를 기반으로 이미지의 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 단계를 포함하는
이미지 분류방법.
11. The method of claim 10,
Wherein said classifying comprises:
Classifying images taken by the same camera for each image in the first group;
Confirming the generated time information of each image photographed by the same camera;
And classifying the remaining images into the removal object image, excluding one image selected arbitrarily from a plurality of images in which the generation time of the image is included in the predetermined time interval range based on the time information
Image classification method.
제 10 항에 있어서,
상기 분류하는 단계는,
상기 제1 그룹내 각 이미지에 대해 초점 불일치 정도를 검사하는 단계와,
상기 검사결과, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정보 이상인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는
이미지 분류방법.
11. The method of claim 10,
Wherein said classifying comprises:
Checking the degree of focus mismatch for each image in the first group,
And classifying the image as the removal object image if the degree of focus mismatch is greater than or equal to a preset reference mismatching degree information
Image classification method.
제 10 항에 있어서,
상기 제작하는 단계는,
상기 제2 이미지 그룹내 포함된 각 이미지의 해상도를 검사하는 단계와,
상기 제2 이미지 그룹내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 단계와,
상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 단계를 포함하는
이미지 분류방법.
11. The method of claim 10,
Wherein the step of fabricating comprises:
Inspecting the resolution of each image included in the second image group;
Reducing each image included in the second image group to a predetermined ratio based on the checked resolution;
Selecting the predetermined number of images from among the reduced images, and compositing the reduced image into the one image by locating the reduced image in an area divided according to the predetermined number on the one image
Image classification method.
제 15 항에 있어서,
상기 제작하는 단계는,
상기 하나의 이미지에 포함된 복수의 축소된 이미지 각각에 대한 식별정보와 상기 축소된 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 단계를 더 포함하는
이미지 분류방법.
16. The method of claim 15,
Wherein the step of fabricating comprises:
Further comprising storing identification information for each of a plurality of reduced images included in the one image and region information on each of the reduced images,
Image classification method.
제 10 항에 있어서,
상기 방법은,
상기 하나의 이미지에 포함된 복수의 이미지에 대해 상기 하나의 이미지에 대한 광학 인식 결과에 기반하여 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지를 분류하는 단계를 더 포함하는
이미지 분류방법.
11. The method of claim 10,
The method comprises:
Further comprising classifying an image in which the personal information exists and an image in which the personal information does not exist based on the optical recognition result for the one image with respect to the plurality of images included in the one image
Image classification method.
KR1020170144731A 2017-11-01 2017-11-01 Apparatus and method for classifying images stored in a digital device KR102047936B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170144731A KR102047936B1 (en) 2017-11-01 2017-11-01 Apparatus and method for classifying images stored in a digital device
JP2020543442A JP7019825B2 (en) 2017-11-01 2018-10-30 Image classification device and method
PCT/KR2018/013042 WO2019088673A2 (en) 2017-11-01 2018-10-30 Image classification device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170144731A KR102047936B1 (en) 2017-11-01 2017-11-01 Apparatus and method for classifying images stored in a digital device

Publications (2)

Publication Number Publication Date
KR20190049169A true KR20190049169A (en) 2019-05-09
KR102047936B1 KR102047936B1 (en) 2019-11-22

Family

ID=66332110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170144731A KR102047936B1 (en) 2017-11-01 2017-11-01 Apparatus and method for classifying images stored in a digital device

Country Status (3)

Country Link
JP (1) JP7019825B2 (en)
KR (1) KR102047936B1 (en)
WO (1) WO2019088673A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220111346A (en) * 2021-02-02 2022-08-09 네이버 주식회사 Computer system for removing unnecessary video when generating target video from sports play video and method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140125073A (en) * 2013-04-18 2014-10-28 삼성전자주식회사 Electronic device and method for generating split screen image
KR20160071781A (en) * 2014-12-12 2016-06-22 삼성전자주식회사 Method of detecting object in image and image processing device
KR101721063B1 (en) * 2016-12-02 2017-03-29 충남대학교산학협력단 Personal information retrieval method in the image files and storing medium storing program using the method thereof
KR101735664B1 (en) 2014-10-14 2017-05-24 주식회사 넥스비즈코리아 System and method providing service using recognition technology in mobile terminal

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092127A (en) 2004-09-22 2006-04-06 Fuji Xerox Co Ltd Image processor, image processing method and program
JP2006115138A (en) 2004-10-14 2006-04-27 Sony Corp Image forming apparatus, imaging apparatus, printing apparatus, image processing apparatus, image forming method and program
JP4809198B2 (en) 2006-11-29 2011-11-09 株式会社リコー Image processing device, article image selection method, program, and recording medium
KR101585029B1 (en) * 2015-05-13 2016-01-13 (주)코드원시스템 Recognition and classification system of document
KR101744163B1 (en) * 2016-02-03 2017-06-07 김현철 An application for managing images and method of managing images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140125073A (en) * 2013-04-18 2014-10-28 삼성전자주식회사 Electronic device and method for generating split screen image
KR101735664B1 (en) 2014-10-14 2017-05-24 주식회사 넥스비즈코리아 System and method providing service using recognition technology in mobile terminal
KR20160071781A (en) * 2014-12-12 2016-06-22 삼성전자주식회사 Method of detecting object in image and image processing device
KR101721063B1 (en) * 2016-12-02 2017-03-29 충남대학교산학협력단 Personal information retrieval method in the image files and storing medium storing program using the method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
(특허문헌)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220111346A (en) * 2021-02-02 2022-08-09 네이버 주식회사 Computer system for removing unnecessary video when generating target video from sports play video and method thereof

Also Published As

Publication number Publication date
KR102047936B1 (en) 2019-11-22
WO2019088673A2 (en) 2019-05-09
WO2019088673A3 (en) 2019-06-20
JP2021501432A (en) 2021-01-14
JP7019825B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
JP6844038B2 (en) Biological detection methods and devices, electronic devices and storage media
EP3236391B1 (en) Object detection and recognition under out of focus conditions
JP7096355B2 (en) Biological detection method, device and storage medium
CN111886842B (en) Remote user authentication using threshold-based matching
JP4444633B2 (en) Image classification device, image classification method, and program
US10679041B2 (en) Hybrid deep learning method for recognizing facial expressions
Vazquez-Fernandez et al. Built-in face recognition for smart photo sharing in mobile devices
US10140510B2 (en) Machine print, hand print, and signature discrimination
JP2014531097A (en) Text detection using multi-layer connected components with histograms
KR20140139730A (en) Method for classifying elements of face using depth difference
US20190155883A1 (en) Apparatus, method and computer program product for recovering editable slide
US10891740B2 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
CN113628181A (en) Image processing method, image processing device, electronic equipment and storage medium
KR20190049169A (en) Apparatus and method for classifying images stored in a digital device
CN114140674B (en) Electronic evidence availability identification method combined with image processing and data mining technology
Kulkarni et al. Source camera identification using GLCM
US8532391B2 (en) Recognizing a feature of an image independently of the orientation or scale of the image
EP3152701A1 (en) Method of and system for determining and selecting media representing event diversity
KR101754993B1 (en) Photo zone photographing apparatus using Augmented Reality
TWM583989U (en) Serial number detection system
KR20150096552A (en) System and method for providing online photo gallery service by using photo album or photo frame
TWI703504B (en) Serial number detecting system
CN115589456A (en) Shooting method and device
WO2015162028A2 (en) Method, device, user equipment and computer program for object extraction from multimedia content
CN117372441A (en) Multi-object segmentation method and equipment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant