KR20190049169A - Apparatus and method for classifying images stored in a digital device - Google Patents
Apparatus and method for classifying images stored in a digital device Download PDFInfo
- Publication number
- KR20190049169A KR20190049169A KR1020170144731A KR20170144731A KR20190049169A KR 20190049169 A KR20190049169 A KR 20190049169A KR 1020170144731 A KR1020170144731 A KR 1020170144731A KR 20170144731 A KR20170144731 A KR 20170144731A KR 20190049169 A KR20190049169 A KR 20190049169A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- classifying
- group
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 33
- 230000003287 optical effect Effects 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G06K9/3258—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
본 발명은 이미지 분류 장치에 관한 것으로, 특히 광학 인식 대상 이미지에 대해 기설정된 분류 기준에 따라 분류하고, 개인정보가 존재할 가능성이 낮은 이미지를 광학 인식 수행전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 줄여 광학 인식 효율을 높이고 비용을 절감시킬 수 있도록 하는 개인정보 이미지 탐색을 위한 이미지 분류 장치 및 방법에 관한 것이다.More particularly, the present invention relates to an image classifying apparatus, and more particularly to an image classifying apparatus that classifies an image to be optically recognized according to a predetermined classification criterion, removes an image having low probability of existence of personal information before performing optical recognition, The present invention relates to an image classification apparatus and method for searching for a personal information image that can reduce the number of image recognition apparatuses and improve the optical recognition efficiency and cost.
최근 들어, 카메라 등으로부터 촬영된 이미지에 대해 광학 인식 기술을 적용하여 이미지로부터 다양한 정보를 분석하는 광학 인식 기술에 대한 연구가 활발히 진행되고 있으며, 이러한 광학 인식 기술을 통해 이미지에 포함된 사물을 식별하거나 텍스트 정보를 추출하는 것이 가능하다.In recent years, research on optical recognition technology for analyzing various information from images by applying optical recognition technology to images photographed from cameras has been actively conducted. Through such optical recognition technology, objects included in an image are identified It is possible to extract text information.
한편, 최근 들어 스마트폰의 보급이 급속도로 증가하고 있으며, 이러한 스마트폰에는 대부분이 고성능 카메라가 탑재되어 있어 사용자가 언제 어디서든 사진을 촬영할 수 있게 됨에 따라 대부분 사용자의 스마트폰에는 많은 수의 사진들이 저장되어 있다.On the other hand, in recent years, the spread of smart phones has been rapidly increasing. Most of these smart phones are equipped with high-performance cameras, so that users can take pictures anytime and anywhere. Therefore, Is stored.
현재 스마트 폰을 사용하는 사용자들의 대부분이 저장공간의 50% 정도를 사진 저장을 위해 사용되고 있으며, 사진의 수는 평균적으로 1000장 이상 정도로 추산된다. 이러한 사진들에 대해서도 광학 인식 기술을 이용하여 개인정보를 포함한 이미지에 포함된 다양한 정보를 추출할 수 있다.Currently, most users of smartphones use about 50% of their storage space for photo storage, with an average of more than 1000 photos. For these pictures, various information included in the image including the personal information can be extracted using the optical recognition technology.
그러나, 이러한 많은 이미지들 내에서 이미지들에 대한 광학 인식을 통해 개인정보 등을 확인하기 위해서는 많은 시간과 비용이 발생된다. However, it takes a lot of time and money to confirm personal information through optical recognition of images in many images.
위와 같은 광학 인식 기술를 적용하여 이미지 분석을 수행하여 주는 애플리케이션으로 예를 들어 Google Cloud Vision API 등이 존재하는데, 이러한 광학 인식 기술을 사용하게 되는 경우 광학 인식 대상이 되는 이미지의 수가 증가함에 따라 도 1에서 보여지는 바와 같이 광학 인식에 소요되는 시간과 비용이 기하 급수적으로 증가하는 문제점이 있었다. As an application that performs image analysis by applying the above-described optical recognition technology, for example, Google Cloud Vision API and the like exist. When the optical recognition technology is used, as the number of images to be optically recognized increases, There is a problem that the time and cost required for optical recognition increases exponentially as shown.
따라서, 광학 인식에 소요되는 시간과 비용을 줄이기 위해서는 광학 인식을 적용하기 전에 광학 인식 대상이 되는 이미지를 분석하고자 하는 정보에 대응되게 사전에 분류하여 이미지의 수를 최대한 줄이는 작업이 필요하다.Accordingly, in order to reduce the time and cost required for optical recognition, it is necessary to reduce the number of images as much as possible by classifying the images to be subjected to optical recognition in advance in correspondence with information to be analyzed before applying optical recognition.
(특허문헌)(Patent Literature)
대한민국 등록특허번호 10-1735664호(등록일자 2017년 05월 08일)Korean Registered Patent No. 10-1735664 (registered on May 08, 2017)
따라서, 본 발명의 일실시예에서는 광학 인식 대상 이미지에 대해 기설정된 분류 기준에 따라 분류하고, 개인정보가 존재할 가능성이 낮은 이미지를 광학 인식 수행전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 줄여 광학 인식 효율을 높이고 비용을 절감시킬 수 있도록 하는 개인정보 이미지 탐색을 위한 이미지 분류 장치 및 방법을 제공하고자 한다.Therefore, in an embodiment of the present invention, an image to be optically recognized is classified according to a predetermined classification criterion, and an image with low probability of existence of personal information is removed before performing optical recognition, And to reduce the cost of the image classification apparatus and method for searching personal information images.
상술한 본 발명의 일실시예에 따른 이미지 분류장치로서, 복수의 이미지를 포함하는 제1 이미지 그룹내 모든 이미지를 기설정된 기준에 따라 검사하여 제거 대상 이미지를 분류하고, 상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 이미지 분류부와, 상기 제2 이미지 그룹내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성하는 이미지 제작부를 포함한다.The image classifying apparatus according to an embodiment of the present invention may include an image classifying unit that classifies all images in a first image group including a plurality of images according to a preset reference to classify the image to be removed, An image classifying unit for generating a second image group including an image, and an image producing unit for selecting a predetermined number of images among the images included in the second image group and synthesizing the selected images into one image.
또한, 상기 이미지 분류부는, 상기 제1 그룹내 각 이미지에 대해 해상도를 검사하고, 상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 해상도 기반 분류부를 포함하는 것을 특징으로 한다. The image classifying unit may further include a resolution-based classifying unit for classifying the image into the removal object image by checking the resolution of each image in the first group and if the resolution is lower than a preset reference resolution.
또한, 상기 이미지 분류부는, 상기 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 상기 제거 대상 이미지로 분류하는 메타 데이터 기반 분류부를 더 포함하는 것을 특징으로 한다.The image classifying unit may further include a metadata-based classifying unit for classifying the image into the removal object image if the metadata information for each image in the first group is checked and the information related to the copyright is included .
또한, 상기 이미지 분류부는, 상기 제1 그룹내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하고, 상기 동일한 카메라에 의해 촬영된 각 이미지의 생성 시간 정보를 기반으로 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 연속사진 분류부를 더 포함하는 것을 특징으로 한다.The image classifying unit may classify the images captured by the same camera for each image in the first group and generate the image based on the generation time information of each image captured by the same camera, And a consecutive photograph classifying unit for classifying the remaining images into the removal object image, excluding one image selected arbitrarily from a plurality of images included in the range.
또한, 상기 이미지 분류부는, 상기 제1 그룹내 각 이미지에 대해 초점 불일치 정도를 검사하고, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 상기 제거 대상 이미지로 분류하는 초점 기반 분류부를 더 포함하는 것을 특징으로 한다.The image classifying unit may further include a focus-based classifier for classifying each image in the first group as the removal object image, and classifying the image as the removal object image if the degree of focus mismatch is greater than or equal to a predetermined reference mismatch degree .
또한, 상기 이미지 제작부는, 상기 제2 이미지 그룹내 포함된 각 이미지의 해상도를 검사하는 해상도 검사부와, 상기 제2 이미지 그룹내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 이미지 축소부와, 상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 이미지 합성부를 포함하는 것을 특징으로 한다.The image production unit may include a resolution check unit for checking the resolution of each image included in the second image group, and a controller for reducing each image included in the second image group to a predetermined ratio based on the checked resolution An image processing method comprising: an image reduction unit; an image processing unit that selects the predetermined number of images from the reduced image, and positions the reduced image in an area divided according to the predetermined number on the one image, And a synthesizing unit.
또한, 상기 이미지 제작부는, 상기 하나의 이미지에 포함된 상기 축소된 이미지 각각에 대한 식별정보와 상기 축소된 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 이미지 위치 기억부를 더 포함하는 것을 특징으로 한다.The image production unit may further include an image position storage unit for storing identification information for each of the reduced images included in the one image and area information on each of the reduced images, .
또한, 상기 장치는, 상기 이미지 제작부에서 상기 하나의 이미지에 포함된 복수의 이미지에 대해 상기 하나의 이미지에 대한 광학 인식 결과에 기반하여 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지를 분류하는 이미지 재분류부를 더 포함하는 것을 특징으로 한다.The apparatus may further include an image generation unit that generates an image in which the personal information exists in the plurality of images included in the one image based on the optical recognition result of the one image, And an image classifying unit for classifying the image.
또한, 상기 개인정보는, 상기 하나의 이미지에 포함된 텍스트 정보인 것을 특징으로 한다.The personal information may be text information included in the one image.
또한, 본 발명의 일실시예에 따른 이미지 분류방법으로서, 복수의 이미지를 포함하는 제1 이미지 그룹내 각 이미지를 기설정된 기준에 따라 검사하여 제거 대상 이미지를 분류하는 단계와, 상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 단계와, 상기 제2 이미지 그룹내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 제작하는 단계를 포함하는 것을 특징으로 한다.According to still another aspect of the present invention, there is provided an image classification method comprising the steps of: classifying an image to be removed into a first image group including a plurality of images, Generating a second image group including the remaining images, and selecting a predetermined number of images from the images included in the second image group to produce one image.
또한, 상기 분류하는 단계는, 상기 제1 그룹내 각 이미지에 대해 해상도를 검사하는 단계와, 상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.The classifying step may include the steps of: checking resolution of each image in the first group; and classifying the image into the removal object image if the resolution is lower than a predetermined reference resolution.
또한, 상기 분류하는 단계는, 상기 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하는 단계와, 상기 확인 결과 상기 메타 데이터 정보에 저작권과 관련된 정보가 포함되어 있는 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.In addition, the classifying step may include: checking metadata information of each image in the first group; and classifying the metadata as the removal target image if the metadata information includes copyright-related information The method comprising the steps of:
또한, 상기 분류하는 단계는, 상기 제1 그룹내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하는 단계와, 상기 동일한 카메라에 의해 촬영된 각 이미지의 생성된 시간 정보를 확인하는 단계와, 상기 시간 정보를 기반으로 이미지의 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.The classifying may further include classifying images taken by the same camera for each image in the first group, identifying generated time information of each image taken by the same camera, And classifying the remaining images into the removal object image, excluding one image selected arbitrarily among a plurality of images whose generation time of the image is included in the predetermined time interval range based on the time information .
또한, 상기 분류하는 단계는, 상기 제1 그룹내 각 이미지에 대해 초점 불일치 정도를 검사하는 단계와, 상기 검사결과, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정보 이상인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.The classifying step may include the steps of examining a degree of focus mismatch for each image in the first group, and classifying the image as the mismatching image when the degree of focus mismatch is equal to or greater than a predetermined reference mismatching degree information The method comprising the steps of:
또한, 상기 제작하는 단계는, 상기 제2 이미지 그룹내 포함된 각 이미지의 해상도를 검사하는 단계와, 상기 제2 이미지 그룹내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 단계와, 상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 단계를 포함하는 것을 특징으로 한다.In addition, the producing may include: checking the resolution of each image included in the second image group; and reducing each image included in the second image group to a predetermined ratio based on the examined resolution Selecting the predetermined number of images from among the reduced images, and compositing the reduced image into the one image by locating the reduced image in an area divided according to the predetermined number on the one image .
또한, 상기 제작하는 단계는, 상기 하나의 이미지에 포함된 복수의 축소된 이미지 각각에 대한 식별정보와 상기 축소된 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 단계를 더 포함하는 것을 특징으로 한다.The producing step may further include storing identification information of each of the plurality of reduced images included in the one image and area information of each of the reduced images located on the one image .
또한, 상기 방법은, 상기 하나의 이미지에 포함된 복수의 이미지에 대해 상기 하나의 이미지에 대한 광학 인식 결과에 기반하여 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지를 분류하는 단계를 더 포함하는 것을 특징으로 한다.The method may further include classifying an image in which the personal information exists and an image in which the personal information does not exist based on the optical recognition result for the one image with respect to the plurality of images included in the one image And further comprising:
본 발명의 일실시예에 따르면, 개인정보 탐색을 위한 이미지 분류 장치에 있어서, 광학 인식 대상 이미지에 대해 기설정된 분류 기준에 따라 분류하고, 개인정보가 존재할 가능성이 낮은 이미지를 광학 인식 수행전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 줄여 광학 인식 효율을 높이고 비용을 절감시킬 수 있다.According to an embodiment of the present invention, there is provided an image classification apparatus for searching personal information, comprising: classifying an image to be optically recognized according to a predetermined classification criterion; removing an image having low probability of existence of personal information before performing optical recognition; It is possible to reduce the number of optical recognition target images for searching personal information, thereby increasing the optical recognition efficiency and reducing the cost.
도 1은 종래 광학 인식 대상 이미지의 수에 따른 광학 인식 소요 시간 및 비용 예시도.
도 2는 본 발명의 일실시예에 따른 개인정보 이미지 탐색을 위한 이미지 분류 장치의 기능 블록 구성도.
도 3은 본 발명의 일실시예에 따른 복수의 이미지가 합성된 합성 이미지 예시도.
도 4는 본 발명의 일실시예에 따른 제1 이미지 분류부의 기능 블록 구성도.
도 5는 본 발명의 일실시예에 따른 이미지 제작부의 기능 블록 구성도.
도 6은 본 발명의 일실시예에 따른 이미지 분류장치에서 이미지를 분류하는 동작 제어 흐름도.
도 7은 본 발명의 일실시예에 따른 복수의 이미지가 합성된 하나의 이미지에서 광학 인식을 통해 개인정보가 인식된 영역 표시 개념도.
도 8은 본 발명의 일실시예에 따른 이미지 분류 후 광학 인식 시간과 비용 결과 예시도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view showing the time required for optical recognition and the cost according to the number of conventional optical recognition target images.
2 is a functional block diagram of an image classification apparatus for searching personal information image according to an embodiment of the present invention;
3 is a diagram illustrating a composite image in which a plurality of images are synthesized according to an embodiment of the present invention.
4 is a functional block diagram of a first image classifying unit according to an embodiment of the present invention;
5 is a functional block diagram of an image producing unit according to an embodiment of the present invention;
6 is a flowchart of an operation control for sorting an image in an image classification apparatus according to an embodiment of the present invention.
FIG. 7 is a conceptual diagram illustrating an area in which personal information is recognized through optical recognition in one image in which a plurality of images are synthesized according to an embodiment of the present invention. FIG.
FIG. 8 is an illustration of optical recognition time and cost results after image classification according to an embodiment of the present invention; FIG.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, the operation principle of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and these may be changed according to the intention of the user, the operator, or the like. Therefore, the definition should be based on the contents throughout this specification.
도 1은 본 발명의 일실시예에 따른 개인정보 이미지 탐색을 위한 이미지 분류 장치의 기능 블록 구성을 도시한 것이다.1 is a functional block diagram of an image classification apparatus for searching personal information images according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일시예에 따른 개인정보 탐색을 위한 이미지 분류장치(200)는 제1 이미지 분류부(202), 이미지 제작부(204), 제2 이미지 분류부(206) 등을 포함할 수 있다.1, an
먼저, 제1 이미지 분류부(202)는 이미지 저장부(230)로부터 개인정보 추출을 위한 광학 인식 대상이 되는 복수의 이미지를 입력받는다. 이때, 이러한 복수의 이미지는 스마트폰, 디지털 카메라 등을 통해 촬영된 사진 등을 의미할 수 있으며, 개인정보는 이러한 이미지에 포함된 사용자의 개인정보로서 예를 들어 텍스트(text) 정보가 될 수 있다. 또한, 이러한 텍스트 정보는 예를 들어 여권 사진에 포함되어 있는 여권 번호, 주민등록증을 촬영한 사진에 포함되어 있는 주민등록번호, 영수증 또는 각종 문서를 촬영한 사진에 포함된 거래 정보, 증빙 정보 등이 될 수 있으나, 이에 한정되는 것은 아니다.First, the first
즉, 제1 이미지 분류부(202)는 위와 같은 복수의 이미지를 입력받는 경우, 복수의 이미지를 포함하는 제1 이미지 그룹을 생성하고, 제1 이미지 그룹내 포함된 각 이미지를 기설정된 기준에 따라 검사하여 개인정보가 존재할 가능성이 낮은 제거 대상 이미지를 분류한다. 이어, 제1 이미지 분류부(202)는 제1 이미지 그룹에서 위와 같이 분류된 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성한다.That is, when the above-described plurality of images are input, the first
이때, 제거 대상 이미지는 위와 같이 예시한 개인정보를 포함하고 있지 않은 이미지를 말하는 것으로, 이러한 개인정보를 포함하고 있지 않은 이미지를 분류하는 구체적인 방법에 대해서는 제1 이미지 분류부(202)의 상세 블록 구성을 도시한 도 4를 참조하여 상세히 후술하기로 한다.In this case, the removal target image refers to an image that does not include the personal information exemplified above. For a specific method of classifying the image that does not include such personal information, the detailed block configuration of the first
이미지 제작부(204)는 제1 이미지 분류부(202)로부터 생성된 제2 이미지 그룹에 포함된 이미지에 대해 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성한다. 이때, 예를 들어 이미지 제작부(204)는 제2 이미지 그룹내 포함된 6개의 이미지를 선택하여 하나의 이미지로 합성할 수 있으나, 이에 한정되는 것은 아니다. The
또한, 이미지 제작부(204)는 6개의 이미지를 하나의 이미지에 합성함에 있어서 도 3에서 보여지는 바와 같이 하나의 이미지(300)를 6개의 영역으로 구분하고, 제2 그룹에서 선택된 6개의 이미지를 각 영역의 크기에 맞게 일정 비율로 축소한 후 축소된 이미지를 하나의 이미지(300)상 각 영역에 배치하는 것을 통해 하나의 이미지로 합성할 수 있다. 위와 같은 이미지 합성 동작에 대해서는 이미지 제작부(204)의 상세 블록 구성을 도시한 도 5를 참조하여 상세히 후술하기로 한다.In addition, the
2차 이미지 분류부(206)는 이미지 제작부(204)에서 생성된 복수의 이미지를 포함하도록 합성된 하나의 이미지에 대한 광학 인식 결과, 개인정보가 검출되는 경우 하나의 이미지내 포함된 복수의 이미지 중 개인정보가 검출된 이미지와 개인정보가 검출되지 않은 이미지를 분류한다. 이때, 2차 이미지 분류부(206)는 예를 들어 개인정보가 검출되지 않은 이미지는 일반 이미지로 분류하여 일반 이미지 그룹으로 관리할 수 있으며, 개인정보가 검출된 이미지는 개인정보 이미지로 분류하여 개인정보 이미지 그룹으로 관리할 수 있으나, 이에 한정되는 것은 아니다.The secondary
또한, 이때, 광학 인식이라 함은 이미지에 텍스트 등의 개인정보가 포함되어 있는 경우 이미지로부터 개인정보를 추출하는 기술을 말하는 것으로, 광학 인식을 통해 이미지내 개인정보가 분석될 수 있고, 추출된 개인정보별 이미지상 해당 개인정보가 검출된 위치 정보도 분석될 수 있다. In this case, optical recognition refers to a technique for extracting personal information from an image when personal information such as text is included in the image. Personal information in the image can be analyzed through optical recognition, The location information in which the corresponding personal information is detected in the information-based image can also be analyzed.
또한, 광학 인식은 본 발명의 일실시예에 따른 이미지 분류장치(200)가 탑재된 스마트폰(smartphone), 테블릿(tablet), 노트북, 데스크탑 PC 등의 컴퓨팅 장치에서 광학 인식을 수행하는 애플리케이션 등에 의해 실행된 후, 광학 인식 수행된 결과가 이미지 분류장치(200)로 제공될 수도 있으며, 유무선 통신망을 통해 연결되는 외부의 광학 인식 서버 등에서 실행된 후, 이미지 분류장치(200)로 제공될 수도 있다. The optical recognition may also be applied to an application for performing optical recognition in a computing device such as a smartphone, a tablet, a notebook, and a desktop PC equipped with the
도 4는 본 발명의 일실시예에 따른 제1 이미지 분류부의 기능 블록 구성을 도시한 것이다. 4 is a functional block diagram of a first image classifying unit according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 일실시예에 따른 제1 이미지 분류부(202)는 해상도 기반 분류부(400), 메타 데이터 기반 분류부(402), 연속사진 분류부(404), 초점 기반 분류부(406) 등을 포함할 수 있다.Referring to FIG. 4, the
해상도 기반 분류부(400)는 제1 그룹내 각 이미지에 대해 해상도를 검사하고, 해상도가 기설정된 기준 해상도 이하인 경우 제거 대상 이미지로 분류한다. 이때, 기준 해상도는 예를 들어 스마트폰의 경우 상대적으로 해상도가 낮은 전면 카메라로 사용자 자신을 촬영한 이미지에서 나타나는 해상도로 정해질 수 있으며, 이에 따라 전면 카메라를 이용하여 사용자 자신을 촬영한 이미지는 개인정보가 존재할 가능성이 낮은 제거 대상 이미지로 분류될 수 있으나, 이에 한정되는 것은 아니다. 즉, 기준 해상도는 제거 대상 이미지로 분류할 사진을 어떤 것으로 결정하느냐에 따라 선택적으로 변경 설정 가능하다. The resolution-based
메타 데이터 기반 분류부(402)는 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 개인정보가 존재할 가능성이 낮은 제거 대상 이미지로 분류할 수 있다. 이때, 저작권 관련된 정보가 포함된 이미지는 예를 들어 사용자 자신이 아닌 제3자에 의해 생성된 이미지를 의미할 수 있으며, 이러한 이미지는 예를 들어 기업 등에서 제작한 이미지 또는 사진 작가 등에 의해 촬영된 이미지 등이 될 수 있다. 이와 같은 이미지에는 이미지 데이터의 내부에 포함된 메타 데이터 정보에 해당 이미지를 제작한 벤더(vender)나, 사진 작가의 식별 정보가 포함될 수 있고, 해당 이미지를 촬영한 카메라의 모델명 등의 정보가 포함될 수 있는데, 저작권 관련 정보는 이러한 정보 등을 의미할 수 있으나 이에 한정되는 것은 아니다.The metadata-based
연속사진 분류부(404)는 제1 그룹내 모든 이미지에 대해 동일한 카메라로부터 생성된 이미지를 분류하고, 동일한 카메라로부터 생성된 이미지에 대해 다시 각 이미지가 생성된 시간 정보를 확인한 후, 각 이미지가 생성된 시점이 기설정된 시간 간격 범위 내에 포함되는 해당 이미지를 제거 대상 이미지로 분류한다. 이때, 기설정된 기준 시간 간격 범위는 예를 들어 스마트폰, 디지털 카메라 등에 구비되는 연속사진 촬영 모드시 설정된 시간 간격으로 정해질 수 있으며, 이러한 기준 시간 간격 범위내에서 생성된 이미지는 연속사진 촬영에 의해 생성된 것을 의미할 수 있다. 또한, 연속사진 촬영에 의해 생성된 이미지는 비슷한 정보를 포함하고 있을 가능성이 높으므로, 연속사진 촬영으로 생성된 이미지가 복수개인 경우 하나의 이미지를 제외하고 나머지 이미지에 대해서는 제어 대상 이미지로 분류할 수 있으나, 이에 한정되는 것은 아니다.초점 기반 분류부(406)는 제1 그룹내 각 이미지에 대해 초점 불일치(blur) 정도를 검사하고, 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 제거 대상 이미지로 분류한다. 이때, 기설정된 기준 초점 불일치 정도는 스마트폰, 디지털 카메라 등을 통해 촬영된 이미지가 초점이 맞지 않게 촬영되어 이미지상 초점 불일치가 발생한 경우, 초점 불일치가 발생한 정도를 백분율로 표시한 것을 의미할 수 있다. 이때, 이러한 기준 초점 불일치 정도는 예를 들어 0이 초점이 정확히 맞은 것을 나타내고 100이 초점이 완전히 불일치한 것을 나타낸다고 가정하는 경우 초점 불일치에도 불구하고 이미지에서 개인정보를 추출할 수 있는 실험치로 정해질 수 있다. 즉, 이러한 초점 불일치 정도는 예를 들어 0~20으로 정해질 수 있고 초점 불일치 정도가 20이상이 되는 이미지는 개인정보의 추출이 어려운 제거 대상 이미지로 분류되도록 할 수 있으나, 이에 한정되는 것은 아니다.The continuous
도 5는 본 발명의 일실시예에 따른 이미지 제작부의 기능 블록 구성을 도시한 것이다. 5 is a functional block diagram of an image producing unit according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 일실시예에 따른 이미지 제작부(204)는 해상도 검사부(500), 이미지 축소부(502), 이미지 합성부(504), 이미지 위치 기억부(506) 등을 포함할 수 있다.5, an
해상도 검사부(500)는 1차 분류된 이미지를 제외한 개인정보가 존재할 가능성이 높은 이미지들로 구성되는 제2 이미지 그룹내 각 이미지의 해상도를 검사하고, 검사된 이미지별 해상도에 대한 정보를 이미지 축소부(502)로 제공한다.The
이때, 제2 이미지 그룹내 포함된 이미지는 1차 분류를 통해 기설정된 기준 해상도 이상인 이미지가 포함된 상태이나, 이미지별로 해상도는 서로 다를 수 있다. 이러한 제2 이미지 그룹내 포함된 이미지는 이미지 축소부(502)를 통해 원래 이미지가 가지고 있는 해상도를 기반으로 일정 크기로 축소되어야 하기 때문에 이미지별 해상도를 검사하는 것이 필요하다. At this time, the images included in the second image group include images having a predetermined reference resolution or higher through the primary classification, but the resolutions may be different from each other. Since the image included in the second image group must be reduced to a predetermined size based on the resolution of the original image through the
이미지 축소부(502)는 제2 그룹내 포함된 각 이미지를 각 이미지의 해상도에 기반하여 기설정된 비율로 축소시킨다. 제2 그룹내 포함된 각 이미지는 1차 분류를 통해 개인정보가 존재할 가능성이 높은 이미지로 분류된 상태로 광학 인식의 대상이 되는 이미지일 수 있다. 이러한 이미지 각각에 대해 광학 인식을 수행하는 경우 여전히 광학 인식에 소요되는 비용이 상대적으로 증가할 수 있으며 외부에 위치한 광학 인식 서버로 전송하는 경우 데이터 전송 효율이 저하될 수 있다. 따라서, 광학 인식 효율을 높이기 위해 본 발명의 일실시예에서는 복수의 축소된 이미지를 합성하여 하나의 이미지로 제작하여 광학 인식 효율을 높이도록 한다. The
즉, 이미지 축소부(502)는 하나의 이미지에 들어갈 축소된 이미지의 수가 정해진 경우 이미지의 수에 따라 하나의 이미지상 각 이미지가 차지하는 영역의 크기를 고려하여 해당 영역의 크기에 맞게 원래 이미지를 특정 비율로 축소시키게 된다. In other words, when the number of reduced images to be included in one image is determined, the
이미지 합성부(504)는 이미지 축소부(502)를 통해 일정 비율로 축소된 이미지 중 하나의 이미지로 합성할 기설정된 개수의 이미지를 선택하고, 선택된 이미지를 하나의 이미지상 기설정된 개수에 맞게 구분된 각 영역에 위치시켜 하나의 이미지로 합성한다.The
이미지 위치 기억부(506)는 이미지 합성부(504)에서 합성되는 하나의 이미지별 포함되는 복수의 축소된 이미지 각각에 대한 식별정보와 해당 하나의 이미지상 위치된 영역에 대한 정보를 저장한다.The image
이때, 위와 같이 이미지 합성이 완료된 하나의 이미지는 이미지 분류장치(200)내 구비되는 광학 인식 장치 또는 유무선 통신망을 통해 연결된 광학 인식 서버(250)를 통해 광학 인식이 수행될 수 있으며, 하나의 이미지내에서 검출된 개인정보와 각 개인정보가 검출된 해당 이미지상 위치정보를 포함하는 광학 인식 결과가 제2 이미지 분류부(206)로 제공될 수 있다.At this time, one image having been subjected to image synthesis as described above may be optically recognized through an optical recognition device provided in the
그러면 제2 이미지 분류부(206)는 위와 같이 광학 인식이 수행되어 하나의 이미지에서 검출된 개인정보와 하나의 이미지상에서 개인정보가 검출된 위치정보를 수신하는 경우, 이미지 위치 기억부(506)에 저장된 정보를 이용하여 하나의 이미지상 개인정보가 검출된 각 이미지를 판별하여 개인정보가 있는 이미지와 개인정보가 없는 이미지를 분류하게 되는 것이다. When the
이때, 제2 이미지 분류부(206)는 앞서 설명한 바와 같이 예를 들어 개인정보가 검출되지 않은 이미지는 일반 이미지로 분류하여 일반 이미지 그룹으로 관리할 수 있으며, 개인정보가 검출된 이미지는 개인정보 이미지로 분류하여 개인정보 이미지 그룹으로 관리할 수 있다.In this case, the second
도 6은 본 발명의 일실시예에 따른 이미지 분류장치에서 이미지를 분류하는 동작 제어 흐름을 도시한 것이다. 이하, 도 2 내지 도 6을 참조하여 본 발명의 일실시예에 따른 동작을 상세히 설명하기로 한다.6 shows an operation control flow for classifying an image in an image classification apparatus according to an embodiment of the present invention. Hereinafter, an operation according to an embodiment of the present invention will be described in detail with reference to FIG. 2 to FIG.
먼저, 이미지 분류장치(200)는 이미지 저장부(230)로부터 개인정보 추출을 위한 광학 인식 대상이 되는 복수의 이미지를 입력받는다(S600). 이때, 이러한 이미지는 스마트폰, 디지털 카메라 등을 통해 촬영된 사진 등을 의미할 수 있으며, 개인정보는 이러한 이미지에 포함된 사용자의 개인정보로서 예를 들어 텍스트 정보가 될 수 있다.First, the
이어, 이미지 분류장치(200)는 위와 같이 복수의 이미지를 입력받는 경우, 복수의 이미지를 포함하는 제1 이미지 그룹을 생성하고, 제1 이미지 그룹내 포함된 각 이미지를 기설정된 기준에 따라 검사하여 개인정보가 존재할 가능성이 낮은 제거 대상 이미지를 분류하는 1차 분류를 수행한다(S602).When the plurality of images are input as described above, the
이때, 이미지 분류장치(200)는 1차 분류를 수행함에 있어서, 제1 그룹내 각 이미지에 대해 해상도를 검사하고, 해상도가 기설정된 기준 해상도 이하인 경우 제거 대상 이미지로 분류한다(S602-1). 이때, 기준 해상도는 예를 들어 스마트폰의 경우 상대적으로 해상도가 낮은 전면 카메라로 사용자 자신을 촬영한 이미지에서 나타나는 해상도로 정해질 수 있으며, 이에 따라 전면 카메라를 이용하여 사용자 자신을 촬영한 이미지는 개인정보가 존재할 가능성이 낮은 제거 대상 이미지로 분류될 수 있다.At this time, the
또한, 이미지 분류장치(200)는 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 제거 대상 이미지로 분류한다(S602-2). 이때, 저작권 관련된 정보가 포함된 이미지는 예를 들어 사용자 자신이 아닌 제3자에 의해 생성된 이미지를 의미할 수 있으며, 이러한 이미지는 예를 들어 기업 등에서 제작한 이미지 또는 사진 작가 등에 의해 촬영된 이미지 등이 될 수 있다. In addition, the
또한, 이미지 분류장치(200)는 제1 그룹내 모든 이미지에 대해 동일 카메라에 의해 촬영된 이미지를 분류한 후, 동일 카메라에 의해 촬영된 각 이미지의 생성된 시간 정보를 확인하고, 각 이미지가 생성된 시점이 기설정된 시간 간격 범위 내에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 제거 대상 이미지로 분류한다(S602-3). 이때, 기설정된 기준 시간 간격 범위는 예를 들어 스마트폰, 디지털 카메라 등에 구비되는 연속사진 촬영 모드시 설정된 시간 간격으로 정해질 수 있으며, 이러한 기준 시간 간격 범위내에서 생성된 이미지는 연속사진 촬영에 의해 생성된 것을 의미할 수 있다.In addition, the
또한, 이미지 분류장치(200)는 제1 그룹내 각 이미지에 대해 초점 불일치(blur) 정도를 검사하고, 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 제거 대상 이미지로 분류한다(S602-4). 이때, 기설정된 기준 초점 불일치 정도는 스마트폰, 디지털 카메라 등을 통해 촬영된 이미지가 초점이 맞지 않게 촬영되어 이미지상 초점 불일치가 발생한 경우, 초점 불일치가 발생한 정도를 백분율로 표시한 것을 의미할 수 있다.In addition, the
위와 같이 이미지 분류장치(200)는 1차 분류를 통해 제1 이미지 그룹에서 개인정보가 존재할 가능이 낮은 제거 대상 이미지(사진 A)를 제외시키고(S604), 제거 대상 이미지를 제외한 나머지 이미지를 취합하여 제2 이미지 그룹(사진 B)을 생성한다(S606).As described above, the
이어, 이미지 분류장치(200)는 제2 이미지 그룹에 포함된 이미지에 대해 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성한다(S608). 이때, 예를 들어 이미지 분류장치(200)는 제2 이미지 그룹내 포함된 6개의 이미지를 선택하여 하나의 이미지로 합성할 수 있으나, 이에 한정되는 것은 아니다. 또한, 이미지 분류장치(200)는 6개의 이미지를 하나의 이미지에 합성함에 있어서 상기한 도 3에서 보여지는 바와 같이 하나의 이미지(300)를 6개의 영역으로 구분하고, 제2 그룹에서 선택된 6개의 이미지를 각 영역의 크기에 맞게 일정 비율로 축소한 후 축소된 이미지를 하나의 이미지(300)상 각 영역에 배치하는 것을 통해 하나의 이미지를 합성할 수 있다.Next, the
위와 같이 1차 분류된 복수의 이미지를 포함하도록 합성된 하나의 이미지는 시스템 내부의 탑재된 광학 인식 장치 또는 유무선 통신망을 통해 연결된 외부의 광학 인식 서버(250) 등에서 광학 인식이 수행되어 이미지내에 포함된 텍스트 등의 개인정보가 추출되는 광학 인식이 수행되고, 광학 인식 결과가 이미지 분류장치(200)로 입력될 수 있다(S610). One image synthesized so as to include a plurality of images classified in the above-described primary classification is optically recognized by an optical recognition apparatus mounted in the system or an external
그러면, 이미지 분류장치(200)는 위와 같이 광학 인식 결과가 입력되는 경우, 광학 인식 결과를 기반으로 하나의 이미지내 포함된 복수의 이미지 중 개인정보가 검출된 이미지와 개인정보가 검출되지 않은 이미지를 분류하는 2차 분류를 수행한다(S612). If the result of the optical recognition is input as described above, the
도 7은 복수의 이미지가 합성된 하나의 이미지에서 광학 인식을 통해 개인정보가 인식된 영역을 표시한 것이다. FIG. 7 shows an area where personal information is recognized through optical recognition in one image in which a plurality of images are synthesized.
이미지 분류장치(200)는 도 7에서와 같이 광학 인식 결과로 입력되는 개인정보와 개인정보가 검출된 위치정보를 기반으로 복수의 이미지가 합성된 하나의 이미지에서 개인정보가 검출된 이미지와 개인정보가 검출되지 않은 이미지를 식별하여 2차 분류를 수행하는 것이다.7, the
이어, 이미지 분류장치(200)는 예를 들어 개인정보가 검출되지 않은 이미지는 일반 이미지로 분류하여 일반 이미지 그룹으로 관리할 수 있으며(S614), 개인정보가 검출된 이미지는 개인정보 이미지로 분류하여 개인정보 이미지 그룹으로 관리할 수 있다(S614).Then, the
이에 따라, 광학 인식 대상 이미지에 대해 기설정된 분류 기준에 따라 분류하여 개인정보가 존재할 가능성이 낮은 이미지를 사전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 대폭 줄일 수 있으며, 광학 인식 효율을 높이고 비용을 절감시킬 수 있게 된다.Accordingly, it is possible to greatly reduce the number of images to be optically recognized for personal information search by removing images with low probability of existence of personal information by classifying the images to be optically recognized according to predetermined classification criteria, And the cost can be reduced.
도 8은 본 발명의 일실시예에 따른 이미지 분류 후 광학 인식 시간과 비용 결과 예시도이다.8 is a diagram illustrating an example of optical recognition time and cost results after image classification according to an embodiment of the present invention.
도 8에서 보여지는 바와 같이 본 발명의 일실시예에 따른 이미지 분류 결과 예를 들어 사용자 A의 경우 1000장의 광학 인식 대상 이미지가 1차 분류와 이미지 합성을 통해 약 100장으로 줄어들어 비용과 광학 인식에 소요되는 시간이 대폭 줄어든 것을 확인할 수 있으며, 사용자 B,C,D의 경우도 동일한 효과가 발생한 것을 확인할 수 있다. As shown in FIG. 8, in the case of the image classification result according to an embodiment of the present invention, for example, in the case of the user A, 1000 optical recognition target images are reduced to about 100 through the first classification and image synthesis, It can be confirmed that the time required is greatly reduced, and that the same effect is also obtained in the case of users B, C, and D.
이때, 위와 같은 광학 인식에 소요되는 시간과 비용의 계산은 설명의 편의상 예를 들어 Google Cloud Vision API를 광학 인식 서버로 이용한 경우를 예시한 것일 뿐, 다른 광학 인식 서버를 이용하거나 시스템 내부에 광학 인식 모듈을 탑재하는 경우에도 동일한 결과가 도출되리라는 것은 당업자에게 자명하게 이해될 수 있다.In this case, the calculation of the time and cost required for the above-described optical recognition is merely an example of using the Google Cloud Vision API as an optical recognition server for the convenience of explanation, It will be understood by those skilled in the art that the same result will be obtained even when the module is mounted.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. Combinations of the steps of each flowchart attached to the present invention may be performed by computer program instructions. These computer program instructions may be loaded into a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus so that the instructions, which are executed via a processor of a computer or other programmable data processing apparatus, Lt; / RTI > These computer program instructions may also be stored in a computer usable or computer readable memory capable of directing a computer or other programmable data processing apparatus to implement the functionality in a particular manner so that the computer usable or computer readable memory It is also possible to produce manufacturing items that contain instruction means for performing the functions described in each step of the flowchart. Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible for the instructions to perform the processing equipment to provide steps for executing the functions described in each step of the flowchart.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments, the functions mentioned in the steps may occur out of order. For example, the two steps shown in succession may in fact be performed substantially concurrently, or the steps may sometimes be performed in reverse order according to the corresponding function.
한편 상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention. Accordingly, the scope of the invention should not be limited by the described embodiments but should be defined by the appended claims.
200 : 이미지 분류장치 202 : 제1 이미지 분류부
204 : 이미지 제작부 206 : 제2 이미지 분류부
230 : 이미지 저장부 250 : 광학 인식 서버
400 : 해상도 기반 분류부 402 : 메타 데이터 기반 분류부
404 : 연속사진 분류부 406 : 초점 기반 분류부
500 : 해상도 검사부 502 : 이미지 축소부
504 : 이미지 합성부 506 : 이미지 위치 기억부 200: image classifying apparatus 202: first image classifying unit
204: image production unit 206: second image classification unit
230: Image storage unit 250: Optical recognition server
400: resolution-based classification unit 402: metadata-based classification unit
404: Continuous picture classifying unit 406: Focus-based classifying unit
500: resolution checker 502:
504: image synthesis unit 506: image position storage unit
Claims (17)
상기 제2 이미지 그룹내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성하는 이미지 제작부를 포함하는
이미지 분류장치.
An image classifying unit for classifying an image to be removed by checking all the images in the first image group including a plurality of images according to a preset reference and generating a second image group including the remaining images excluding the removal target image, ,
And an image producing unit for selecting a predetermined number of images among the images included in the second image group and synthesizing them into one image
Image classification device.
상기 이미지 분류부는,
상기 제1 그룹내 각 이미지에 대해 해상도를 검사하고, 상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 해상도 기반 분류부를 포함하는
이미지 분류장치.
The method according to claim 1,
Wherein the image classifier comprises:
And a resolution-based classifying unit for classifying the image into the removal object image if the resolution is equal to or less than a preset reference resolution,
Image classification device.
상기 이미지 분류부는,
상기 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 상기 제거 대상 이미지로 분류하는 메타 데이터 기반 분류부를 더 포함하는
이미지 분류장치.
The method according to claim 1,
Wherein the image classifier comprises:
And a metadata-based classifying unit for classifying the image into the removal object image by checking metadata information of each image in the first group and if information related to copyright is included
Image classification device.
상기 이미지 분류부는,
상기 제1 그룹내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하고, 상기 동일한 카메라에 의해 촬영된 각 이미지의 생성 시간 정보를 기반으로 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 연속사진 분류부를 더 포함하는
이미지 분류장치.
The method according to claim 1,
Wherein the image classifier comprises:
Wherein the image processing unit classifies images taken by the same camera for each image in the first group and generates a plurality of images including a generation time point within a predetermined time interval range based on generation time information of each image taken by the same camera Further comprising a consecutive photo classifying unit for classifying the remaining images into the removal subject image except one image selected at random
Image classification device.
상기 이미지 분류부는,
상기 제1 그룹내 각 이미지에 대해 초점 불일치 정도를 검사하고, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 상기 제거 대상 이미지로 분류하는 초점 기반 분류부를 더 포함하는
이미지 분류장치.
The method according to claim 1,
Wherein the image classifier comprises:
Further comprising a focus-based classifying unit for classifying each image in the first group as the removal object image, and if the degree of focus mismatch is greater than or equal to a predetermined reference mismatch degree,
Image classification device.
상기 이미지 제작부는,
상기 제2 이미지 그룹내 포함된 각 이미지의 해상도를 검사하는 해상도 검사부와,
상기 제2 이미지 그룹내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 이미지 축소부와,
상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 이미지 합성부를 포함하는
이미지 분류장치.
The method according to claim 1,
The image producing unit may include:
A resolution checker for checking the resolution of each image included in the second image group;
An image reduction unit for reducing each image included in the second image group to a predetermined ratio based on the examined resolution,
And an image combining unit for selecting the predetermined number of images from among the reduced images, and compositing the reduced image into the one image by positioning the reduced image in an area divided according to the predetermined number on the one image
Image classification device.
상기 이미지 제작부는,
상기 하나의 이미지에 포함된 상기 축소된 이미지 각각에 대한 식별정보와 상기 축소된 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 이미지 위치 기억부를 더 포함하는
이미지 분류장치.
The method according to claim 6,
The image producing unit may include:
And an image position storage unit for storing identification information for each of the reduced images included in the one image and area information for each of the reduced images located on the one image,
Image classification device.
상기 장치는,
상기 이미지 제작부에서 상기 하나의 이미지에 포함된 복수의 이미지에 대해 상기 하나의 이미지에 대한 광학 인식 결과에 기반하여 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지를 분류하는 이미지 재분류부를 더 포함하는
The method according to claim 1,
The apparatus comprises:
And an image reclassifier for classifying an image in which the personal information exists and an image in which the personal information does not exist, based on the optical recognition result of the one image, for the plurality of images included in the one image, More included
상기 개인정보는,
상기 하나의 이미지에 포함된 텍스트 정보인
이미지 분류장치.
9. The method of claim 8,
The personal information includes:
The text information included in the one image
Image classification device.
상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 단계와,
상기 제2 이미지 그룹내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 제작하는 단계를 포함하는
이미지 분류방법.
Classifying each image in the first image group including a plurality of images according to a predetermined criterion to classify the image to be removed,
Generating a second image group including the remaining images excluding the removal target image,
Selecting a predetermined number of images from among the images included in the second image group to produce one image;
Image classification method.
상기 분류하는 단계는,
상기 제1 그룹내 각 이미지에 대해 해상도를 검사하는 단계와,
상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는
이미지 분류방법.
11. The method of claim 10,
Wherein said classifying comprises:
Checking the resolution for each image in the first group,
And classifying the image as the removal object image if the resolution is less than or equal to a preset reference resolution
Image classification method.
상기 분류하는 단계는,
상기 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하는 단계와,
상기 확인 결과 상기 메타 데이터 정보에 저작권과 관련된 정보가 포함되어 있는 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는
이미지 분류방법.
11. The method of claim 10,
Wherein said classifying comprises:
Identifying metadata information for each image in the first group;
And classifying the metadata information into the removal object image if information related to copyright is included in the metadata information
Image classification method.
상기 분류하는 단계는,
상기 제1 그룹내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하는 단계와,
상기 동일한 카메라에 의해 촬영된 각 이미지의 생성된 시간 정보를 확인하는 단계와,
상기 시간 정보를 기반으로 이미지의 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 단계를 포함하는
이미지 분류방법.
11. The method of claim 10,
Wherein said classifying comprises:
Classifying images taken by the same camera for each image in the first group;
Confirming the generated time information of each image photographed by the same camera;
And classifying the remaining images into the removal object image, excluding one image selected arbitrarily from a plurality of images in which the generation time of the image is included in the predetermined time interval range based on the time information
Image classification method.
상기 분류하는 단계는,
상기 제1 그룹내 각 이미지에 대해 초점 불일치 정도를 검사하는 단계와,
상기 검사결과, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정보 이상인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는
이미지 분류방법.
11. The method of claim 10,
Wherein said classifying comprises:
Checking the degree of focus mismatch for each image in the first group,
And classifying the image as the removal object image if the degree of focus mismatch is greater than or equal to a preset reference mismatching degree information
Image classification method.
상기 제작하는 단계는,
상기 제2 이미지 그룹내 포함된 각 이미지의 해상도를 검사하는 단계와,
상기 제2 이미지 그룹내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 단계와,
상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 단계를 포함하는
이미지 분류방법.
11. The method of claim 10,
Wherein the step of fabricating comprises:
Inspecting the resolution of each image included in the second image group;
Reducing each image included in the second image group to a predetermined ratio based on the checked resolution;
Selecting the predetermined number of images from among the reduced images, and compositing the reduced image into the one image by locating the reduced image in an area divided according to the predetermined number on the one image
Image classification method.
상기 제작하는 단계는,
상기 하나의 이미지에 포함된 복수의 축소된 이미지 각각에 대한 식별정보와 상기 축소된 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 단계를 더 포함하는
이미지 분류방법.
16. The method of claim 15,
Wherein the step of fabricating comprises:
Further comprising storing identification information for each of a plurality of reduced images included in the one image and region information on each of the reduced images,
Image classification method.
상기 방법은,
상기 하나의 이미지에 포함된 복수의 이미지에 대해 상기 하나의 이미지에 대한 광학 인식 결과에 기반하여 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지를 분류하는 단계를 더 포함하는
이미지 분류방법.11. The method of claim 10,
The method comprises:
Further comprising classifying an image in which the personal information exists and an image in which the personal information does not exist based on the optical recognition result for the one image with respect to the plurality of images included in the one image
Image classification method.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170144731A KR102047936B1 (en) | 2017-11-01 | 2017-11-01 | Apparatus and method for classifying images stored in a digital device |
JP2020543442A JP7019825B2 (en) | 2017-11-01 | 2018-10-30 | Image classification device and method |
PCT/KR2018/013042 WO2019088673A2 (en) | 2017-11-01 | 2018-10-30 | Image classification device and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170144731A KR102047936B1 (en) | 2017-11-01 | 2017-11-01 | Apparatus and method for classifying images stored in a digital device |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190049169A true KR20190049169A (en) | 2019-05-09 |
KR102047936B1 KR102047936B1 (en) | 2019-11-22 |
Family
ID=66332110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170144731A KR102047936B1 (en) | 2017-11-01 | 2017-11-01 | Apparatus and method for classifying images stored in a digital device |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7019825B2 (en) |
KR (1) | KR102047936B1 (en) |
WO (1) | WO2019088673A2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220111346A (en) * | 2021-02-02 | 2022-08-09 | 네이버 주식회사 | Computer system for removing unnecessary video when generating target video from sports play video and method thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140125073A (en) * | 2013-04-18 | 2014-10-28 | 삼성전자주식회사 | Electronic device and method for generating split screen image |
KR20160071781A (en) * | 2014-12-12 | 2016-06-22 | 삼성전자주식회사 | Method of detecting object in image and image processing device |
KR101721063B1 (en) * | 2016-12-02 | 2017-03-29 | 충남대학교산학협력단 | Personal information retrieval method in the image files and storing medium storing program using the method thereof |
KR101735664B1 (en) | 2014-10-14 | 2017-05-24 | 주식회사 넥스비즈코리아 | System and method providing service using recognition technology in mobile terminal |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006092127A (en) | 2004-09-22 | 2006-04-06 | Fuji Xerox Co Ltd | Image processor, image processing method and program |
JP2006115138A (en) | 2004-10-14 | 2006-04-27 | Sony Corp | Image forming apparatus, imaging apparatus, printing apparatus, image processing apparatus, image forming method and program |
JP4809198B2 (en) | 2006-11-29 | 2011-11-09 | 株式会社リコー | Image processing device, article image selection method, program, and recording medium |
KR101585029B1 (en) * | 2015-05-13 | 2016-01-13 | (주)코드원시스템 | Recognition and classification system of document |
KR101744163B1 (en) * | 2016-02-03 | 2017-06-07 | 김현철 | An application for managing images and method of managing images |
-
2017
- 2017-11-01 KR KR1020170144731A patent/KR102047936B1/en active IP Right Grant
-
2018
- 2018-10-30 JP JP2020543442A patent/JP7019825B2/en active Active
- 2018-10-30 WO PCT/KR2018/013042 patent/WO2019088673A2/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140125073A (en) * | 2013-04-18 | 2014-10-28 | 삼성전자주식회사 | Electronic device and method for generating split screen image |
KR101735664B1 (en) | 2014-10-14 | 2017-05-24 | 주식회사 넥스비즈코리아 | System and method providing service using recognition technology in mobile terminal |
KR20160071781A (en) * | 2014-12-12 | 2016-06-22 | 삼성전자주식회사 | Method of detecting object in image and image processing device |
KR101721063B1 (en) * | 2016-12-02 | 2017-03-29 | 충남대학교산학협력단 | Personal information retrieval method in the image files and storing medium storing program using the method thereof |
Non-Patent Citations (1)
Title |
---|
(특허문헌) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220111346A (en) * | 2021-02-02 | 2022-08-09 | 네이버 주식회사 | Computer system for removing unnecessary video when generating target video from sports play video and method thereof |
Also Published As
Publication number | Publication date |
---|---|
KR102047936B1 (en) | 2019-11-22 |
WO2019088673A2 (en) | 2019-05-09 |
WO2019088673A3 (en) | 2019-06-20 |
JP2021501432A (en) | 2021-01-14 |
JP7019825B2 (en) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6844038B2 (en) | Biological detection methods and devices, electronic devices and storage media | |
EP3236391B1 (en) | Object detection and recognition under out of focus conditions | |
JP7096355B2 (en) | Biological detection method, device and storage medium | |
CN111886842B (en) | Remote user authentication using threshold-based matching | |
JP4444633B2 (en) | Image classification device, image classification method, and program | |
US10679041B2 (en) | Hybrid deep learning method for recognizing facial expressions | |
Vazquez-Fernandez et al. | Built-in face recognition for smart photo sharing in mobile devices | |
US10140510B2 (en) | Machine print, hand print, and signature discrimination | |
JP2014531097A (en) | Text detection using multi-layer connected components with histograms | |
KR20140139730A (en) | Method for classifying elements of face using depth difference | |
US20190155883A1 (en) | Apparatus, method and computer program product for recovering editable slide | |
US10891740B2 (en) | Moving object tracking apparatus, moving object tracking method, and computer program product | |
CN113628181A (en) | Image processing method, image processing device, electronic equipment and storage medium | |
KR20190049169A (en) | Apparatus and method for classifying images stored in a digital device | |
CN114140674B (en) | Electronic evidence availability identification method combined with image processing and data mining technology | |
Kulkarni et al. | Source camera identification using GLCM | |
US8532391B2 (en) | Recognizing a feature of an image independently of the orientation or scale of the image | |
EP3152701A1 (en) | Method of and system for determining and selecting media representing event diversity | |
KR101754993B1 (en) | Photo zone photographing apparatus using Augmented Reality | |
TWM583989U (en) | Serial number detection system | |
KR20150096552A (en) | System and method for providing online photo gallery service by using photo album or photo frame | |
TWI703504B (en) | Serial number detecting system | |
CN115589456A (en) | Shooting method and device | |
WO2015162028A2 (en) | Method, device, user equipment and computer program for object extraction from multimedia content | |
CN117372441A (en) | Multi-object segmentation method and equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |