WO2021071258A1 - 인공지능 기반의 휴대용 보안영상 학습장치 및 방법 - Google Patents

인공지능 기반의 휴대용 보안영상 학습장치 및 방법 Download PDF

Info

Publication number
WO2021071258A1
WO2021071258A1 PCT/KR2020/013686 KR2020013686W WO2021071258A1 WO 2021071258 A1 WO2021071258 A1 WO 2021071258A1 KR 2020013686 W KR2020013686 W KR 2020013686W WO 2021071258 A1 WO2021071258 A1 WO 2021071258A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
learning
portable security
security image
generator
Prior art date
Application number
PCT/KR2020/013686
Other languages
English (en)
French (fr)
Inventor
김동민
김원태
강신욱
이명재
하창빈
Original Assignee
(주)제이엘케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제이엘케이 filed Critical (주)제이엘케이
Publication of WO2021071258A1 publication Critical patent/WO2021071258A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present disclosure relates to an image analysis apparatus and method. More specifically, the present disclosure relates to an apparatus and method for constructing a learning model based on deep learning.
  • Deep learning is to learn a very large amount of data, and when new data is input, the highest probability is selected based on the learning result.
  • Such deep learning can operate adaptively according to an image, and since it automatically finds a characteristic factor in the process of learning a model based on data, there are increasing attempts to utilize this in the field of artificial intelligence in recent years.
  • the conventional image analysis technology using deep learning uses a convolutional neural network (CNN) and max pooling technique to extract local features for each area of the image, Recognize the image based on the background.
  • CNN convolutional neural network
  • max pooling technique to extract local features for each area of the image, Recognize the image based on the background.
  • this method has a problem in that the content of the actual image is different, but it does not provide an accurate recognition result for an image having a similar local information type.
  • Images used in the electronic customs clearance system generally use different colors depending on the physical properties of objects included in the image (eg, whether the object is an organic material, inorganic material, metal, or the like) for more effective image reading.
  • objects included in the image eg, whether the object is an organic material, inorganic material, metal, or the like
  • images captured by a simple imaging device or a portable device have different resolutions, colors, etc. from images captured by a high-performance imaging device
  • a data set or learning based on images captured by a high-performance imaging device There is a problem in that a model cannot be used, and a new data set or a learning model for analyzing an image captured by a simple photographing device or a portable device must be constructed.
  • the technical problem of the present disclosure is to provide a portable security image learning apparatus and method capable of constructing a learning model for an image captured by a simple photographing device or a portable device using a previously constructed data set.
  • a portable security video learning apparatus may be provided.
  • the device for learning a security image the device detects a difference between a color security image and a portable security image, and processes learning about an image correction learning model that outputs a correction image corresponding to the input of the color security image.
  • an object detection learning unit that receives the corrected image and learns an object detection learning model that outputs detection information including a target object and a non-object object.
  • a portable security video learning method includes a process of learning about an image correction learning model that detects a difference between a color security image and a portable security image, outputs a correction image corresponding to the input of the color security image, and inputs the correction image. It may include a process of learning an object detection learning model that receives and outputs detection information including an object and a non-object.
  • a portable security image learning apparatus and method capable of constructing a learning model for an image captured by a simple photographing device or a portable device using a previously constructed data set may be provided.
  • FIG. 1 is a block diagram showing the configuration of a portable security video learning apparatus according to an embodiment of the present disclosure.
  • FIG. 2A and 2B are diagrams illustrating a portable security image and a color security image used in the portable security image learning apparatus according to an embodiment of the present disclosure of FIG. 1.
  • FIG. 3 is a diagram illustrating a learning data set used in a portable security video learning apparatus according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating a detailed configuration of an image correction learning model provided in a portable security image learning apparatus according to an embodiment of the present disclosure.
  • 5A to 5C are diagrams illustrating an image correction learning model provided in a portable security image learning apparatus according to an embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating a procedure of a method for learning a portable security video according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a severity integrated learning model constructed by a lesion integrated learning apparatus according to an embodiment of the present disclosure.
  • a component when a component is said to be “connected”, “coupled” or “connected” with another component, it is not only a direct connection relationship, but also an indirect connection relationship in which another component exists in the middle. It can also include.
  • a certain component when a certain component “includes” or “have” another component, it means that other components may be further included rather than excluding other components unless otherwise stated. .
  • first and second are used only for the purpose of distinguishing one component from other components, and do not limit the order or importance of the components unless otherwise noted. Accordingly, within the scope of the present disclosure, a first component in one embodiment may be referred to as a second component in another embodiment, and similarly, a second component in one embodiment is referred to as a first component in another embodiment. It can also be called.
  • components that are distinguished from each other are intended to clearly describe each feature, and do not necessarily mean that the components are separated. That is, a plurality of components may be integrated into one hardware or software unit, or one component may be distributed to form a plurality of hardware or software units. Therefore, even if not stated otherwise, such integrated or distributed embodiments are also included in the scope of the present disclosure.
  • components described in various embodiments do not necessarily mean essential components, and some may be optional components. Accordingly, an embodiment consisting of a subset of components described in an embodiment is also included in the scope of the present disclosure. In addition, embodiments including other elements in addition to the elements described in the various embodiments are included in the scope of the present disclosure.
  • FIG. 1 is a block diagram showing the configuration of a portable security video learning apparatus according to an embodiment of the present disclosure
  • FIGS. 2A and 2B are portable security video learning apparatuses used in the portable security video learning apparatus according to an embodiment of the present disclosure of FIG. It is a diagram illustrating a security image and a color security image.
  • the portable security image learning apparatus 100 may include an image correction learning unit 110 and an object detection learning unit 150.
  • the portable security image 210 may be an image obtained by photographing an object using a portable photographing device.
  • the portable security image 210 may be a 2D X-ray image and may be formed in a gray color.
  • a color security image 250 may be used, and the color security image 250 is an image photographing an object using a fixed device.
  • the color security image 250 may be an image captured by a fixed X-ray device, and may be made of RGB color.
  • the portable security image 210 It is illustrated that the color security image 250 is made of the gray color and the color security image 250 is made of the RGB color, but the present disclosure is not limited thereto. It is sufficient if the portable security image 210 is photographed by a portable photographing device, and the color security image 250 can be photographed by a fixed X-ray equipment. Furthermore, since the portable security image 210 is photographed by a portable photographing device, it may be formed with a relatively smaller number of colors than the color security image 250 photographed by a fixed X-ray device.
  • the resolution of the portable security image 210 and the color security image 250 may be variously changed according to the type or performance of the portable photographing device or the fixed X-ray device.
  • the portable security image 210 may exhibit a relatively higher resolution than the color security image 250. Based on this, it is possible to accurately detect an object, a non-object, and a background from the portable security image 210.
  • the portable security image learning apparatus 100 includes an image correction learning unit 110 and an object detection learning unit 150. It is possible to prepare a learning data set 300 (refer to FIG. 3) required for learning of.
  • the learning data set 300 may include portable security images 301, 302, and 303, color security images 311, 312, and 313, and object information 321, 322, and 323.
  • the image correction learning unit 110 may perform learning on the image correction learning model 111 by using the portable security images 301, 302, and 303 and the color security images 311, 312, and 313. As described above, since the portable security images 301, 302, and 303 may have a relatively low number of colors compared to the color security images 311, 312, and 313, the portable security images 301, 302, and 303 Correction is required to reduce the difference between the security images 311, 312, and 313. Accordingly, the image correction learning unit 110 receives the color security images 311, 312, 313 by the image correction learning model 111 and corrects them to correspond to the portable security images 301, 302, 303. Learning can be carried out.
  • the image synthesizing unit 190 may construct and provide a composite image required for learning of the image correction learning model 111, and the composite image may be used as some data of the training data set 300.
  • the image synthesizing unit 190 may check the detection information stored in the image storage unit 170 and extract a partial image corresponding to a target object, a non-object object, a background, etc. included in the detection information.
  • a new portable security image that is, composite images 331, 332, and 333 may be generated by randomly configuring partial images, and the generated composite images 331, 332, and 333 may be added to the learning data set 300. .
  • the image correction learning unit 110 can use the composite images 331, 332, and 333 as an input of the image correction learning model 111, and the image correction learning model 111 is a portable security image 301, 302, It can be trained to reduce the difference between 303) and the composite images 331, 332, and 333.
  • the object detection learning unit 150 may perform learning on the object detection learning model 151 using the corrected image output from the image correction learning model 111 and the object information 321, 322, 323. have.
  • an image targeted for object detection may include a target object, a non-object object, and a background
  • the object refers to a specific object or an object made of a specific material among various objects included in the image
  • the non-objective object refers to the remaining objects not designated as a specific object or an object made of a specific material among various objects included in an image.
  • the background may mean a portion of the image excluding an object.
  • the object detection learning unit 150 may input the corrected image into the object detection learning model 151 and set a target object, a non-objective object, and a background in the corrected image as a target variable. Accordingly, the object detection learning model 151 may be trained to extract and output detection information such as a target object, a non-object object, and a background from the corrected image.
  • the background of the image may be expressed in a predetermined color according to the image capturing method or the capturing device.
  • the predetermined color may be white.
  • the object detection learning unit 150 may be configured to preferentially set the background as a target variable based on the specified background color.
  • the object detection learning unit 150 may provide a user interface for inputting a target object, a non-object object, etc., and may set target variables such as a target object and a non-object object based on information input through the user interface. .
  • the object detection learning model 151 built by the portable security image learning device 100 may be provided to the portable security image detection device 10, and the portable security image detection device 10 is an object detection learning model ( 151) can be used to extract detection information.
  • the portable security image learning device 100 may be interlocked with the portable security image detection device 10, and an image correction learning model 111 and an object detection learning model using information generated by the portable security image detection device 10 (151) etc. can be updated.
  • the portable security image detection apparatus 10 may output detection information as a result value of an input of a portable security image using the object detection learning model 151.
  • the image storage unit 170 can check the portable security image and detection information used by the portable security image detection device 10, and can separate and store this (portable security image and detection information).
  • the image storage unit 170 may store a portable security image and detection information in separate directories.
  • the data stored in the image storage unit 170 may be provided to the image synthesis unit 190 or the image correction learning unit 110 described above.
  • the image synthesis unit 190 may construct and provide a synthesized image as described above, and the image correction learning unit 110 performs learning on the image correction learning model 111 using the synthesized image.
  • the updated image correction learning model 111 may be provided to the portable security image detection device 10 through learning.
  • FIG. 4 is a diagram illustrating a detailed configuration of an image correction learning model provided in a portable security image learning apparatus according to an embodiment of the present disclosure.
  • the image correction learning model 400 may include a discriminator 401 and a generator 405.
  • the discreminator 401 learns characteristics of the portable security image by performing learning on the portable security image in advance. While the discreminator 401 has previously performed learning on the portable security image, the generator 405 may receive a color security image or a composite image and generate a portable security image corresponding thereto. In addition, the discreminator 401 may be trained to classify the portable security image generated by the generator 405 as a portable security image.
  • the generator 405 is configured to correct a difference between a portable security image and a color security image or a composite image.
  • the discreminator 401 may learn characteristics of a portable security image by performing learning on a portable security image stored in the image storage unit 170.
  • the discreminator 401 in order for the generator 405 to correct the existing training data image (color security image, composite image, etc.) to have the same characteristics as the portable security image, the discreminator 401 is portable. It is required to be generalized to security video. Since the data used by the discreminator 401 for learning increases as the portable security image is accumulated in the image storage unit 1710, the discreminator 401 may be generalized to the characteristics of the portable security image.
  • the image correction learning model 400 may be used to correct not only the constructed training data image but also an image having other characteristics as a portable security image. That is, the image correction learning model 400 has a structure that generates a discreminator 401 that is improved as it is continuously used.
  • the generator 405 receives a pre-built training data image as an input, outputs a correction image corresponding thereto, and provides it to the pre-learned discreminator 401, and the discreminator 401 is a portable security image with a high probability. Continue learning until it is determined that it is. Through this, it has a structure in which data built from any equipment can be corrected and reproduced in the format of a portable security video.
  • the object included in the image may be variously changed according to the type or performance of the device.
  • the shape of eg, object, non-object, etc.
  • the generator 405 It may be configured in a structure capable of returning the corrected training image back to the original image.
  • the generator 405 may include a first generator 405a and a second generator 405b.
  • the first generator 405a may be configured to input a color security image, a composite image, or the like, and learn a correction image corresponding thereto.
  • the second generator 405b may be configured to take a correction image as an input and learn an original image (eg, a color security image, a composite image, etc.) corresponding thereto.
  • the loss generated by the second generator 405b that returns the corrected image to the original image may be adjusted by controlling a weight.
  • the generator 405 may be learned in a structure including the first generator 405a and the second generator 405b during the learning process.
  • the shape of the object is changed in the corrected image, it becomes difficult to return to the original image, but the shape of the object (e.g., object, non-object, etc.) I can keep it.
  • FIG. 6 is a flowchart illustrating a procedure of a method for learning a portable security video according to an embodiment of the present disclosure.
  • the portable security video learning method according to an embodiment of the present disclosure may be performed by the aforementioned portable security video learning device.
  • the portable security image learning apparatus may prepare a training data set required for training an image correction learning model and an object detection learning model.
  • the learning data set may include a portable security image, a color security image, a composite image, and detection information.
  • the portable security image may be an image photographed by using a portable photographing device.
  • the portable security image may be a 2D X-ray image and may be formed in a gray color.
  • a color security image may be used, and the color security image may be an image photographed of an object using a fixed device.
  • the color security image may be an image captured by a fixed X-ray device, and may be made of RGB color.
  • the portable security image is made of gray color and the color security image is made of RGB color
  • the present disclosure is not limited thereto. It is sufficient if a portable security image can be photographed by a portable photographing equipment, and a color security image can be photographed by a fixed X-ray equipment. Further, since the portable security image is photographed by a portable photographing device, it may be formed with a relatively smaller number of colors than a color security image photographed by a fixed X-ray device.
  • the composite image may be an image composed of a combination of partial images such as a target object, a non-object object, and a background extracted based on the portable security image.
  • the resolution of the portable security image and the color security image can be variously changed according to the type or performance of the portable photographing equipment or the fixed type X-ray equipment, the resolution of the portable security image and the color security image can be variously made.
  • a portable security image may have a relatively high resolution compared to a color security image. Based on this, it is possible to accurately detect an object, a non-object, and a background from the portable security image.
  • the image targeted for object detection may include a target object, a non-object object, and a background
  • the object refers to a specific object or an object made of a specific substance among various objects included in the image.
  • the target object refers to the remaining objects not designated as a specific object or an object made of a specific material among various objects included in the image.
  • the background may mean a portion of the image excluding an object.
  • the detection information may be information obtained by extracting a target object, a non-object object, and a background from a predetermined image.
  • the portable security image learning apparatus may include an image correction learning model, and the image correction learning model may include a discreminator and a generator.
  • the discreminator may learn characteristics of the portable security image by performing learning on the portable security image in advance (S601).
  • the generator may receive a color security image or a composite image and generate a portable security image corresponding thereto (S602).
  • the discreminator may be trained to classify the portable security image generated by the generator as a portable security image (S603).
  • the portable security image learning apparatus may be constructed so that the image correction learning model can correct a difference between a color security image or a composite image and a portable security image by repeatedly performing steps S602 and S603 described above.
  • the portable security image and the color security image are respectively photographed by portable photographing equipment and fixed X-ray equipment, it can be variously changed according to the type or performance of the equipment, but objects included in the image (e.g., object, non- The shape of the object, etc.) can be similarly constructed. Therefore, even if the image is corrected through the generator, the shape of the object in the corrected image may not be significantly different, and in order to restrict the creation of the corrected image back to the original image, the generator uses the corrected training image as the original image. It can be made of a structure that can be returned to the image again.
  • the generator may be configured to include a first generator and a second generator, and the first generator may be configured to input a color security image, a composite image, and the like, and to learn a corrected image corresponding thereto.
  • the second generator may be configured to take a correction image as an input and learn an original image (eg, a color security image, a composite image, etc.) corresponding thereto.
  • the loss generated by the second generator may be adjusted by controlling a weight.
  • the shape of the object in the corrected image changes, it becomes difficult to return to the original image, but the shape of the object (eg, object, non-object, etc.) can be maintained similar to that of the original image through the above-described generator structure of an embodiment of the present invention. .
  • the portable security image learning device may perform learning on an object detection learning model. That is, the portable security image learning apparatus may input the corrected image to the object detection learning model and provide detection information such as a target object, a non-object object, and a background as a target variable.
  • the background of the image may be expressed in a predetermined color according to a method of photographing an image or a photographing device.
  • the predetermined color may be white.
  • the portable security image learning apparatus may be configured to preferentially set the background as a target variable based on the specified background color.
  • the portable security video learning device may provide a user interface for inputting a target object, a non-object object, and the like, and set target variables such as a target object and a non-object object based on information input through the user interface.
  • the object detection learning model built in the portable security image learning device can be provided to the portable security image detection device, and the portable security image detection device can extract detection information using the object detection learning model.
  • the portable security image learning device may be interlocked with the portable security image detection device, and may update an image correction learning model and an object detection learning model using information generated by the portable security image detection device. To this end, the portable security image learning device may check and store information obtained from the portable security image detection device (S605).
  • the portable security image and detection information used by the portable security image detection device can be checked, and these (portable security image and detection information) can be classified and stored.
  • the portable security image detection apparatus may store a portable security image and detection information in separate directories.
  • the portable security image learning apparatus may configure data used as a learning data set, for example, a portable security image, by using the information stored in step S605.
  • the portable security image learning apparatus may check the stored detection information and extract a partial image corresponding to a target object, a non-object object, a background, etc. included in the detection information.
  • a new portable security image that is, a composite image may be generated by randomly configuring a partial image and merging it with a previously stored portable security image or a correction image, and the generated composite image may be added to the learning data set.
  • the portable security image learning device can perform learning on the image correction learning model using the composite image and update it, and the updated image correction learning model can be provided to the portable security image detection device through additional learning. have.
  • FIG. 7 is a block diagram illustrating a computing system that executes a method and apparatus for learning a portable security image according to an embodiment of the present disclosure.
  • the computing system 1000 includes at least one processor 1100 connected through a bus 1200, a memory 1300, a user interface input device 1400, a user interface output device 1500, and a storage device. (1600), and a network interface (1700).
  • the processor 1100 may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in the memory 1300 and/or the storage 1600.
  • the memory 1300 and the storage 1600 may include various types of volatile or nonvolatile storage media.
  • the memory 1300 may include read only memory (ROM) and random access memory (RAM).
  • the steps of the method or algorithm described in connection with the embodiments disclosed herein may be directly implemented in hardware executed by the processor 1100, a software module, or a combination of the two.
  • the software module resides in a storage medium such as RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, removable disk, CD-ROM (i.e., memory 1300 and/or storage 1600). You may.
  • An exemplary storage medium is coupled to the processor 1100, which can read information from and write information to the storage medium.
  • the storage medium may be integral with the processor 1100.
  • the processor and storage media may reside within an application specific integrated circuit (ASIC).
  • the ASIC may reside within the user terminal.
  • the processor and storage medium may reside as separate components within the user terminal.
  • the exemplary methods of the present disclosure are expressed as a series of operations for clarity of description, this is not intended to limit the order in which steps are performed, and each step may be performed simultaneously or in a different order if necessary.
  • the exemplary steps may include additional steps, other steps may be included excluding some steps, or may include additional other steps excluding some steps.
  • various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof.
  • one or more ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • general purpose It may be implemented by a processor (general processor), a controller, a microcontroller, a microprocessor, or the like.
  • the scope of the present disclosure is software or machine-executable instructions (e.g., operating systems, applications, firmware, programs, etc.) that cause an operation according to the method of various embodiments to be executed on a device or computer, and such software or It includes a non-transitory computer-readable medium (non-transitory computer-readable medium) which stores instructions and the like and is executable on a device or a computer.
  • a non-transitory computer-readable medium non-transitory computer-readable medium

Abstract

본 발명에 따르면, 인공지능 기반의 휴대용 보안영상 학습장치가 제공될 수 있다. 상기 인공지능 기반의 휴대용 보안영상 학습장치는 보안영상을 학습하는 장치에 있어서, 컬러 보안영상과 휴대용 보안영상 사이의 차이를 검출하고, 상기 컬러 보안영상의 입력에 대응되는 보정영상을 출력하는 영상 보정 학습모델에 대한 학습을 처리하는 영상 보정 학습부와, 상기 보정영상을 입력받고 목적물 및 비목적물을 포함하는 검출정보를 출력하는 객체 검출 학습모델을 학습하는 객체 검출 학습부를 포함할 수 있다.

Description

인공지능 기반의 휴대용 보안영상 학습장치 및 방법
본 개시는 영상 분석 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 개시는 딥러닝 기반의 학습모델을 구축하는 장치 및 방법에 관한 것이다.
딥러닝(deep learning)은 매우 방대한 양의 데이터를 학습하여, 새로운 데이터가 입력될 경우 학습 결과를 바탕으로 확률적으로 가장 높은 답을 선택하는 것이다. 이러한, 딥러닝은 영상에 따라 적응적으로 동작할 수 있으며, 데이터에 기초하여 모델을 학습하는 과정에서 특성인자를 자동으로 찾아내기 때문에 최근 인공 지능 분야에서 이를 활용하려는 시도가 늘어나고 있는 추세이다.
한편, 영상 인식과 관련하여 딥러닝을 이용한 종래의 영상 분석 기술은 합성곱 신경망(Convolutional Neural Network, CNN)과 최대 풀링(max pooling)기법을 이용하여 영상의 각 영역마다 국소적인 특징을 추출하고 이를 바탕으로 영상을 인식한다. 그러나, 이러한 방법은 실제 영상의 내용은 상이하지만 국소적인 정보 형태가 유사한 영상에 대해서는 정확한 인식 결과를 제공하지 못하는 문제가 있다.
전술한, 딥러닝을 이용한 영상 분석 기술은 전자 통관 시스템에 적용될 수 있다. 전자 통관 시스템에서 이용되는 영상은, 보다 효과적인 영상 판독을 위해 일반적으로 영상에 포함되어 있는 객체들의 물성(예를 들어, 해당 객체가 유기물, 무기물, 금속 등인지 여부)에 따라 다른 색상이 사용된다. 그러나, 해당 객체의 외형적인 형상, 명암의 차이, 객체 고유의 X-Ray 감쇄율, 관측 각도 등의 다양한 요인으로 인해 영상에서 해당 객체들을 명확하게 파악하기 어렵다는 문제가 있다.
또한, 고성능의 촬영장치를 통해 촬영한 영상을 사용하여 목적물을 정확하게 검출할 수는 있으나, 물리적인 제약으로 인해 고성능의 촬영장치를 설치하지 못할 수 있다. 이와 같이, 고성능의 촬영장치를 설치하기 어려운 장소에는 간이 촬영장치나, 휴대용 장치를 사용하여 대상물을 분석할 필요가 있다.
나아가, 간이 촬영장치나, 휴대용 장치에서 촬영되는 영상은, 고성능의 촬영장치에서 촬영되는 영상과 해상도, 색상 등이 다르게 구성되므로, 고성능의 촬영장치에서 촬영되는 영상을 기반으로 구축된 데이터 셋이나, 학습모델을 사용하지 못하고, 간이 촬영장치나, 휴대용 장치에서 촬영되는 영상을 분석하기 위한 새로운 데이터 셋이나, 학습모델을 구축해야 하는 문제가 있다.
본 개시의 기술적 과제는, 기존에 미리 구축된 데이터 셋을 사용하여 간이 촬영장치나, 휴대용 장치에서 촬영된 영상을 위한 학습모델을 구축할 수 있는 휴대용 보안영상 학습장치 및 방법을 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 휴대용 보안영상 학습장치가 제공될 수 있다. 상기 장치는, 보안영상을 학습하는 장치에 있어서, 컬러 보안영상과 휴대용 보안영상 사이의 차이를 검출하고, 상기 컬러 보안영상의 입력에 대응되는 보정영상을 출력하는 영상 보정 학습모델에 대한 학습을 처리하는 영상 보정 학습부와, 상기 보정영상을 입력받고 목적물 및 비목적물을 포함하는 검출정보를 출력하는 객체 검출 학습모델을 학습하는 객체 검출 학습부를 포함할 수 있다.
본 개시의 다른 양상에 따르면, 휴대용 보안영상 학습방법이 제공될 수 있다. 상기 방법은, 컬러 보안영상과 휴대용 보안영상 사이의 차이를 검출하고, 상기 컬러 보안영상의 입력에 대응되는 보정영상을 출력하는 영상 보정 학습모델에 대한 학습을 수행하는 과정과, 상기 보정영상을 입력받고 목적물 및 비목적물을 포함하는 검출정보를 출력하는 객체 검출 학습모델을 학습하는 과정을 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 기존에 미리 구축된 데이터 셋을 사용하여 간이 촬영장치나, 휴대용 장치에서 촬영된 영상을 위한 학습모델을 구축할 수 있는 휴대용 보안영상 학습장치 및 방법이 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치의 구성을 나타내는 블록도이다.
도 2a 및 도 2b는 도 1의 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치에서 사용되는 휴대용 보안영상 및 컬러 보안영상을 예시하는 도면이다.
도 3은 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치에서 사용되는 학습 데이터 셋을 예시하는 도면이다.
도 4는 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치에 구비된 영상 보정 학습모델의 세부 구성을 예시하는 도면이다.
도 5a 내지 도 5c는 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치에 구비된 영상 보정 학습모델을 예시하는 도면이다.
도 6은 본 개시의 일 실시예에 따른 휴대용 보안영상 학습 방법의 순서를 도시하는 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 병변 통합 학습 장치에 의해 구축된 중증도 통합학습모델을 예시하는 도면이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 개시의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시예들에 대해서 설명한다.
도 1은 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치의 구성을 나타내는 블록도이고, 도 2a 및 도 2b는 도 1의 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치에서 사용되는 휴대용 보안영상 및 컬러 보안영상을 예시하는 도면이다.
도 1을 참조하면, 휴대용 보안영상 학습장치(100)는 영상 보정 학습부(110) 및 객체 검출 학습부(150)를 포함할 수 있다.
우션, 본 개시의 일 실시예에서, 휴대용 보안영상(210)은 휴대용 촬영 장비를 사용하여 대상물을 촬영한 영상일 수 있다. 예컨대, 휴대용 보안영상(210)은 2차원 X-ray 영상일 수 있으며, 그레이 색상(gray color)으로 이루어질 수 있다.
한편, 본 개시의 일 실시예에서, 휴대용 보안영상(210)에 대비되는 영상으로서, 컬러 보안영상(250)이 사용될 수 있는데, 컬러 보안영상(250)은 고정형 장비를 사용하여 대상물을 촬영한 영상일 수 있다. 예컨대, 컬러 보안영상(250)은 고정형 X-ray 장비에 의해 촬영된 영상일 수 있으며, RGB 색상(RGB color)으로 이루어질 수 있다.비록, 본 개시의 일 실시예에서, 휴대용 보안영상(210)이 그레이 색상(gray color)으로 이루어지고, 컬러 보안영상(250)이 RGB 색상(RGB color)으로 이루어지는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 휴대용 보안영상(210)은 휴대용 촬영 장비에 의해 촬영되고, 컬러 보안영상(250)은 고정형 X-ray 장비에 의해 촬영될 수 있으면 충분하다. 나아가, 휴대용 보안영상(210)은 휴대용 촬영 장비에 의해 촬영되므로, 고정형 X-ray 장비에 의해 촬영되는 컬러 보안영상(250)보다 상대적으로 적은 수의 색상으로 이루어질 수 있다.
또한, 휴대용 보안영상(210) 및 컬러 보안영상(250)의 해상도는 휴대용 촬영 장비 또는 고정형 X-ray 장비의 종류 또는 성능에 따라 다양하게 변경될 수 있다. 예컨대, 휴대용 보안영상(210)은 컬러 보안영상(250)에 비하여 상대적으로 높은 해상도를 나타낼 수 있다. 이에 기초하여, 휴대용 보안영상(210)으로부터 목적물, 비목적물, 배경 등을 정확하게 검출하는 것이 가능하다.휴대용 보안영상 학습장치(100)는 영상 보정 학습부(110) 및 객체 검출 학습부(150)의 학습에 필요한 학습 데이터 셋(300, 도 3참조)을 준비할 수 있다. 학습 데이터 셋(300)은 휴대용 보안영상(301, 302, 303), 컬러 보안영상(311, 312, 313), 및 객체정보(321, 322, 323)를 포함할 수 있다.
영상 보정 학습부(110)는 휴대용 보안영상(301, 302, 303)과 컬러 보안영상(311, 312, 313)을 사용하여, 영상 보정 학습모델(111)에 대한 학습을 수행할 수 있다. 전술한 바와 같이, 휴대용 보안영상(301, 302, 303)은 컬러 보안영상(311, 312, 313)에 비하여 상대적으로 낮은 색상의 수로 이루어질 수 있으므로, 휴대용 보안영상(301, 302, 303)과 컬러 보안영상(311, 312, 313) 사이의 차이를 줄일 수 있도록, 보정이 요구된다. 이에 따라, 영상 보정 학습부(110)는, 영상 보정 학습모델(111)가 컬러 보안영상(311, 312, 313)을 입력받고, 이를 휴대용 보안영상(301, 302, 303)에 대응되도록 보정하는 학습을 수행할 수 있다.
특히, 영상 합성부(190)는 영상 보정 학습모델(111)의 학습에 필요한 합성영상을 구성 및 제공할 수 있으며, 합성영상은 학습 데이터 셋(300)의 일부 데이터로서 사용될 수 있다. 예를 들어, 영상 합성부(190)는 영상 저장부(170)에 저장된 검출정보를 확인하고, 검출정보에 포함된 목적물, 비목적물, 배경 등에 대응되는 부분영상을 추출할 수 있다. 그리고, 부분영상을 랜덤하게 구성하여 새로운 휴대용 보안영상, 즉, 합성영상(331,332, 333)을 생성할 수 있으며, 생성된 합성영상(331,332, 333)을 학습 데이터 셋(300)에 추가할 수 있다. 이에 대응하여, 영상 보정 학습부(110)는 합성영상(331,332, 333)을 영상 보정 학습모델(111)의 입력으로 사용할 수 있으며, 영상 보정 학습모델(111)이 휴대용 보안영상(301, 302, 303)과 합성영상(331,332, 333) 사이의 차이를 줄일 수 있도록 학습시킬 수 있다.
영상 보정 학습모델(111)의 세부 학습동작은 하기의 도 4, 도 5a, 도 5b 등을 통해 상세히 설명한다.
한편, 객체 검출 학습부(150)는 영상 보정 학습모델(111)에서 출력되는 보정영상과 객체정보(321, 322, 323)를 사용하여, 객체 검출 학습모델(151)에 대한 학습을 수행할 수 있다.
구체적으로, 객체 검출의 대상이되는 영상, 즉, 보정영상에는 목적물, 비목적물, 배경 등이 포함될 수 있는데, 목적물은 영상 내에 포함된 다양한 객체 중, 특정한 물체 또는 특정한 물질로 이루어진 물체를 의미하며, 비목적물은 영상 내에 포함된 다양한 객체 중 특정한 물체 또는 특정한 물질로 이루어진 물체로 지정되지 않은 나머지 객체를 의미한다. 그리고, 배경은 영상에서 객체를 제외한 부분을 의미할 수 있다.
이에 기초하여, 객체 검출 학습부(150)는 보정영상을 객체 검출 학습모델(151)에 입력하고, 보정영상에서 목적물, 비목적물, 배경 등을 목적변수로서 설정할 수 있다. 이에 따라, 객체 검출 학습모델(151)은 보정영상에서 목적물, 비목적물, 배경 등과 같은 검출정보를 추출하여 출력할 수 있도록 학습될 수 있다.
나아가, 영상의 배경은 영상의 촬영 방법 또는 촬영 장치에 따라 소정의 색상으로 표현될 수 있다. 예컨대, 상기 소정의 색상은 흰색일 수 있다. 영상의 배경을 표현하는 색상이 특정된 경우, 객체 검출 학습부(150)는 우선적으로 특정된 배경 색상에 기초하여 배경을 목적변수로서 설정하도록 구성될 수 있다. 그리고, 객체 검출 학습부(150)는 목적물, 비목적물 등을 입력할 수 있는 사용자 인터페이스를 제공할 수 있으며, 사용자 인터페이스를 통해 입력되는 정보를 바탕으로 목적물, 비목적물 등의 목적변수를 설정할 수 있다.
또한, 휴대용 보안영상 학습장치(100)에 의해 구축된 객체 검출 학습모델(151)은 휴대용 보안영상 검출장치(10)에 제공될 수 있으며, 휴대용 보안영상 검출장치(10)는 객체 검출 학습모델(151)을 사용하여 검출정보를 추출할 수 있다. 휴대용 보안영상 학습장치(100)는 휴대용 보안영상 검출장치(10)와 연동될 수 있으며, 휴대용 보안영상 검출장치(10)에서 생성되는 정보를 사용하여 영상 보정 학습모델(111) 및 객체 검출 학습모델(151) 등을 업데이트할 수 있다.
구체적으로, 휴대용 보안영상 검출장치(10)는 객체 검출 학습모델(151)을 사용하여 휴대용 보안영상의 입력에 대한 결과값으로서, 검출정보를 출력할 수 있다. 영상 저장부(170)는 휴대용 보안영상 검출장치(10)가 사용하는 휴대용 보안영상 및 검출정보를 확인할 수 있으며, 이(휴대용 보안영상 및 검출정보)를 구분하여 저장할 수 있다. 예를 들어, 영상 저장부(170)는 휴대용 보안영상과, 검출정보를 별도의 디렉토리에 각각 저장할 수 있다. 이렇게 영상 저장부(170)에 저장된 데이터는 영상 합성부(190) 또는 전술한 영상 보정 학습부(110) 등에 제공될 수 있다.
이에 기초하여, 영상 합성부(190)는 전술한 바와 같이 합성영상을 구성 및 제공할 수 있으며, 영상 보정 학습부(110)는 합성영상을 사용하여 영상 보정 학습모델(111)에 대한 학습을 수행하여 업데이트할 수 있으며, 학습을 통해 업데이트된 영상 보정 학습모델(111)을 휴대용 보안영상 검출장치(10)에 제공할 수 있다.
한편, 도 4는 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치에 구비된 영상 보정 학습모델의 세부 구성을 예시하는 도면이다.
도 4를 참조하면, 영상 보정 학습모델(400)은 디스크리미네이터(Discriminator)(401) 및 제너레이터(Generator)(405)를 포함할 수 있다.
우선, 디스크리미네이터(401)는 휴대용 보안영상에 대한 학습을 선행적으로 수행하여, 휴대용 보안영상에 대한 특성을 학습한다. 디스크리미네이터(401)가 휴대용 보안영상에 대한 학습을 선행적으로 수행한 상태에서, 제너레이터(405)는 컬러 보안영상 또는 합성영상을 입력받고 이에 대응되는 휴대용 보안영상을 생성할 수 있다. 그리고, 디스크리미네이터(401)는 제너레이터(405)에서 생성된 휴대용 보안영상을 휴대용 보안영상으로 분류하도록 학습될 수 있다.
전술한 영상 보정 학습모델(400)의 학습을 통해, 제너레이터(405)는 휴대용 보안영상과 컬러 보안영상 또는 합성영상 사이의 차이를 보정할 수 있도록 구성된다.
예를 들어, 도 5a에 예시되는 바와 같이, 디스크리미네이터(401)는 영상 저장부(170)에 저장된 휴대용 보안영상에 대한 학습을 수행하여, 휴대용 보안영상에 대한 특성을 학습할 수 있다.
그리고, 도 5b에 예시되는 바와 같이, 제너레이터(405)가 기존 학습 데이터 영상(컬러 보안영상, 합성영상 등)을 휴대용 보안영상과 같은 특성을 가지도록 보정하기 위해서는, 디스크리미네이터(401)가 휴대용 보안영상에 일반화되는 것이 요구된다. 휴대용 보안영상이 영상 저장부(1710)에 축적될수록 디스크리미네이터(401)가 학습에 사용하는 데이터가 증가되므로, 디스크리미네이터(401)는 휴대용 보안영상의 특성에 일반화될 수 있다. 또한, 영상 보정 학습모델(400)은 구축된 학습 데이터 영상뿐만 아니라 다른 특성을 가지는 영상에 대해서도 휴대용 보안영상으로 보정하기 위해 사용될 수 있다. 즉, 영상 보정 학습모델(400)은 지속적으로 사용될수록 개선되는 디스크리미네이터(401)를 생성하는 구조를 가진다. 제너레이터(405)는 미리 구축된 학습 데이터 영상을 입력으로 하고, 이에 대응되는 보정영상을 출력하여 선행 학습된 디스크리미네이터(401)에 제공하고, 디스크리미네이터(401)가 높은 확률로 휴대용 보안영상이라고 판별할 때까지 학습을 지속한다. 이를 통해, 어떤 장비로부터 구축된 데이터에 대해서도 휴대용 보안영상의 포맷으로 보정하여 재생성할 수 있는 구조를 가진다.
나아가, 휴대용 보안영상(210) 및 컬러 보안영상(250)은 각각 휴대용 촬영 장비 및 고정형 X-ray 장비에 의해 촬영되므로, 장비의 종류 또는 성능에 따라 다양하게 변경될 수 있지만, 영상에 포함되는 객체(예, 목적물, 비목적물 등)의 형태는 유사하게 구성될 수 있다. 따라서, 제너레이터(405)를 통해 영상이 보정되더라도 보정된 영상에서 객체의 형태는 크게 다르지 않게 구성될 수 있으며, 이렇게 보정된 영상을 다시 원본의 영상으로 생성되도록 제약을 걸기 위해, 제너레이터(405)는 보정된 학습 영상을 원본 영상으로 다시 되돌릴 수 있는 구조로 이루어질 수 있다.
구체적으로, 도 5c를 참조하면, 제너레이터(405)는 제1제너레이터(405a) 및 제2제너레이터(405b)를 포함할 수 있다. 제1제너레이터(405a)는 컬러 보안영상, 합성영상 등을 입력으로 하고, 이에 대응되는 보정영상을 학습하도록 구성될 수 있다. 그리고, 제2제너레이터(405b)는 보정영상을 입력으로 하고, 이에 대응되는 원본영상(예, 컬러 보안영상, 합성영상 등)을 학습하도록 구성될 수 있다. 특히, 영상의 특성에 따라 제약의 정도를 조정할 경우에는 보정된 영상을 원본 영상으로 되돌리는 제2제너레이터(405b)에서 생성되는 loss에 가중치를 제어하여 조정할 수 있다. 이와 같이 제너레이터(405)는 학습과정에서 제1제너레이터(405a) 및 제2제너레이터(405b)를 포함하는 구조로 학습이 이루어질 수 있다.
보정된 영상에서 객체의 형태가 달라지면 원본 영상으로 되돌리기 어려워지지만, 전술한 본 발명의 일 실시예의 제너레이터(405) 구조를 통해 객체(예, 목적물, 비목적물 등)의 형태를 원본 영상에서와 유사하게 유지할 수 있다.
도 6은 본 개시의 일 실시예에 따른 휴대용 보안영상 학습 방법의 순서를 도시하는 흐름도이다.
본 개시의 일 실시예에 따른 휴대용 보안영상 학습 방법은 전술한 휴대용 보안영상 학습 장치에 의해 수행될 수 있다
S600 단계에서, 휴대용 보안영상 학습 장치는 영상 보정 학습모델 및 객체 검출 학습모델의 학습에 필요한 학습 데이터 셋을 준비할 수 있다. 학습 데이터 셋은 휴대용 보안영상, 컬러 보안영상, 합성영상, 및 검출정보를 포함할 수 있다.
휴대용 보안영상은 휴대용 촬영 장비를 사용하여 대상물을 촬영한 영상일 수 있다. 예컨대, 휴대용 보안영상은 2차원 X-ray 영상일 수 있으며, 그레이 색상(gray color)으로 이루어질 수 있다. 또한, 휴대용 보안영상에 대비되는 영상으로서, 컬러 보안영상이 사용될 수 있는데, 컬러 보안영상은 고정형 장비를 사용하여 대상물을 촬영한 영상일 수 있다. 예컨대, 컬러 보안영상은 고정형 X-ray 장비에 의해 촬영된 영상일 수 있으며, RGB 색상(RGB color)으로 이루어질 수 있다.
비록, 본 개시의 일 실시예에서, 휴대용 보안영상이 그레이 색상(gray color)으로 이루어지고, 컬러 보안영상이 RGB 색상(RGB color)으로 이루어지는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 휴대용 보안영상은 휴대용 촬영 장비에 의해 촬영되고, 컬러 보안영상은 고정형 X-ray 장비에 의해 촬영될 수 있으면 충분하다. 나아가, 휴대용 보안영상은 휴대용 촬영 장비에 의해 촬영되므로, 고정형 X-ray 장비에 의해 촬영되는 컬러 보안영상보다 상대적으로 적은 수의 색상으로 이루어질 수 있다.
한편, 미리 저장된 저장된 검출정보, 예컨대, 목적물, 비목적물, 배경 등에 대응되는 부분영상을 추출할 수 있으며, 이러한 부분영상을 랜덤하게 구성하여 새로운 휴대용 보안영상, 즉, 합성영상을 구성할 수 있다. 따라서, 합성영상은 휴대용 보안영상을 기반으로 추출된 목적물, 비목적물, 배경 등의 부분영상의 조합으로 이루어진 영상일 수 있다.
또한, 휴대용 보안영상 및 컬러 보안영상의 해상도는 휴대용 촬영 장비 또는 고정형 X-ray 장비의 종류 또는 성능에 따라 다양하게 변경될 수 있으므로, 휴대용 보안영상 및 컬러 보안영상의 해상도는 다양하게 이루어질 수 있다. 예컨대, 휴대용 보안영상은 컬러 보안영상에 비하여 상대적으로 높은 해상도로 이루어질 수 있다. 이에 기초하여, 휴대용 보안영상으로부터 목적물, 비목적물, 배경 등을 정확하게 검출하는 것이 가능하다.
그리고, 객체 검출의 대상이되는 영상, 즉, 보정영상에는 목적물, 비목적물, 배경 등이 포함될 수 있는데, 목적물은 영상 내에 포함된 다양한 객체 중, 특정한 물체 또는 특정한 물질로 이루어진 물체를 의미하며, 비목적물은 영상 내에 포함된 다양한 객체 중 특정한 물체 또는 특정한 물질로 이루어진 물체로 지정되지 않은 나머지 객체를 의미한다. 그리고, 배경은 영상에서 객체를 제외한 부분을 의미할 수 있다. 이에 기초하여, 검출정보는, 소정의 영상에서 목적물, 비목적물, 배경 등을 추출한 정보일 수 있다.
휴대용 보안영상 학습 장치는 영상 보정 학습모델을 포함할 수 있는데, 영상 보정 학습모델은 디스크리미네이터와 제너에이터를 포함할 수 있다. 디스크리미네이터는, 휴대용 보안영상에 대한 학습을 선행적으로 수행하여, 휴대용 보안영상에 대한 특성을 학습할 수 있다(S601). 그리고, 디스크리미네이터가 휴대용 보안영상에 대한 학습을 선행적으로 수행한 상태에서, 제너레이터는 컬러 보안영상 또는 합성영상을 입력받고 이에 대응되는 휴대용 보안영상을 생성할 수 있다(S602).
이후, 디스크리미네이터는 제너레이터에서 생성된 휴대용 보안영상을 휴대용 보안영상으로 분류하도록 학습될 수 있다(S603).
휴대용 보안영상 학습 장치는 전술한 S602 및 S603 단계를 반복적으로 수행하여, 영상 보정 학습모델이 컬러 보안영상 또는 합성영상과 휴대용 보안영상 사이의 차이를 보정할 수 있도록 구축할 수 있다.
나아가, 휴대용 보안영상 및 컬러 보안영상은 각각 휴대용 촬영 장비 및 고정형 X-ray 장비에 의해 촬영되므로, 장비의 종류 또는 성능에 따라 다양하게 변경될 수 있지만, 영상에 포함되는 객체(예, 목적물, 비목적물 등)의 형태는 유사하게 구성될 수 있다. 따라서, 제너레이터를 통해 영상이 보정되더라도 보정된 영상에서 객체의 형태는 크게 다르지 않게 구성될 수 있으며, 이렇게 보정된 영상을 다시 원본의 영상으로 생성되도록 제약을 걸기 위해, 제너레이터는 보정된 학습 영상을 원본 영상으로 다시 되돌릴 수 있는 구조로 이루어질 수 있다.
구체적으로, 제너레이터는 제1제너레이터 및 제2제너레이터를 포함하도록 구성될 수 있으며, 제1제너레이터는 컬러 보안영상, 합성영상 등을 입력으로 하고, 이에 대응되는 보정영상을 학습하도록 구성될 수 있다. 그리고, 제2제너레이터는 보정영상을 입력으로 하고, 이에 대응되는 원본영상(예, 컬러 보안영상, 합성영상 등)을 학습하도록 구성될 수 있다. 특히, 영상의 특성에 따라 제약의 정도를 조정할 경우, 제2제너레이터에서 생성되는 loss에 가중치를 제어하여 조정할 수 있다.
보정된 영상에서 객체의 형태가 달라지면 원본 영상으로 되돌리기 어려워지지만, 전술한 본 발명의 일 실시예의 제너레이터 구조를 통해 객체(예, 목적물, 비목적물 등)의 형태를 원본 영상에서와 유사하게 유지할 수 있다.
S604 단계에서, 휴대용 보안영상 학습 장치는 객체 검출 학습모델에 대한 학습을 수행할 수 있다. 즉, 휴대용 보안영상 학습 장치는 객체 검출 학습모델에 보정영상을 입력하고, 목적변수로서 목적물, 비목적물, 배경 등과 같은 검출정보를 제공할 수 있다.
특히, 영상의 배경은 영상의 촬영 방법 또는 촬영 장치에 따라 소정의 색상으로 표현될 수 있다. 예컨대, 상기 소정의 색상은 흰색일 수 있다. 영상의 배경을 표현하는 색상이 특정된 경우, 휴대용 보안영상 학습 장치는 우선적으로 특정된 배경 색상에 기초하여 배경을 목적변수로서 설정하도록 구성될 수 있다. 그리고, 휴대용 보안영상 학습 장치는 목적물, 비목적물 등을 입력할 수 있는 사용자 인터페이스를 제공할 수 있으며, 사용자 인터페이스를 통해 입력되는 정보를 바탕으로 목적물, 비목적물 등의 목적변수를 설정할 수 있다.
나아가, 휴대용 보안영상 학습장치에서 구축된 객체 검출 학습모델은 휴대용 보안영상 검출장치에 제공될 수 있으며, 휴대용 보안영상 검출장치는 객체 검출 학습모델을 사용하여 검출정보를 추출할 수 있다. 휴대용 보안영상 학습장치는 휴대용 보안영상 검출장치와 연동될 수 있으며, 휴대용 보안영상 검출장치에서 생성되는 정보를 사용하여 영상 보정 학습모델 및 객체 검출 학습모델 등을 업데이트할 수 있다. 이를 위해, 휴대용 보안영상 학습장치는 휴대용 보안영상 검출장치에서 획득된 정보를 확인 및 저장할 수 있다(S605).
구체적으로, 휴대용 보안영상 검출장치가 사용하는 휴대용 보안영상 및 검출정보를 확인할 수 있으며, 이(휴대용 보안영상 및 검출정보)를 구분하여 저장할 수 있다. 예를 들어, 휴대용 보안영상 검출장치는 휴대용 보안영상과, 검출정보를 별도의 디렉토리에 각각 저장할 수 있다.
S606 단계에서, 휴대용 보안영상 학습 장치는 S605 단계에서 저장되는 정보를 사용하여, 학습 데이터 셋으로서 사용되는 데이터, 예컨대, 휴대용 보안영상을 구성할 수 있다. 예를 들어, 휴대용 보안영상 학습 장치는 저장된 검출정보를 확인하고, 검출정보에 포함된 목적물, 비목적물, 배경 등에 대응되는 부분영상을 추출할 수 있다. 그리고, 부분영상을 랜덤하게 구성하여 미리 저장된 휴대용 보안영상 또는 보정영상과 병합하여 새로운 휴대용 보안영상, 즉, 합성영상을 생성할 수 있으며, 생성된 합성영상을 학습 데이터 셋에 추가할 수 있다.
이에 기초하여, 휴대용 보안영상 학습 장치는 합성영상을 사용하여 영상 보정 학습모델에 대한 학습을 수행하여 업데이트할 수 있으며, 추가 학습을 통해 업데이트된 영상 보정 학습모델을 휴대용 보안영상 검출장치에 제공할 수 있다.
도 7은 본 개시의 일 실시예에 따른 휴대용 보안영상 학습 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
도 7을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (16)

  1. 보안영상을 학습하는 장치에 있어서,
    컬러 보안영상과 휴대용 보안영상 사이의 차이를 검출하고, 상기 컬러 보안영상의 입력에 대응되는 보정영상을 출력하는 영상 보정 학습모델에 대한 학습을 처리하는 영상 보정 학습부와,
    상기 보정영상을 입력받고 목적물 및 비목적물을 포함하는 검출정보를 출력하는 객체 검출 학습모델을 학습하는 객체 검출 학습부를 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습장치.
  2. 제1항에 있어서,
    상기 영상 보정 학습모델는,
    상기 휴대용 보안영상에 대한 특성을 학습하는 디스크리미네이터와,
    상기 컬러 보안영상을 보정한 상기 보정영상을 구성하여, 상기 디스크리미네이터에 제공하는 제너레이터를 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습장치.
  3. 제2항에 있어서,
    상기 디스크리미네이터는,
    상기 제너레이터로부터 제공되는 보정영상이 상기 휴대용 보안영상에 대응되는지를 분류하는 학습을 수행하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습장치.
  4. 제1항에 있어서,
    상기 휴대용 보안영상이 상기 객체 검출 학습모델에 입력되어 검출된 검출정보를 확인하고, 상기 휴대용 보안영상 및 검출정보를 구분하여 저장하는 학습 데이터 저장부를 더 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습장치.
  5. 제4항에 있어서,
    상기 학습 데이터 저장부에 저장된 상기 휴대용 보안영상 및 검출정보를 기반으로 합성영상을 생성하는 합성영상 생성부를 더 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습장치.
  6. 제5항에 있어서,
    상기 영상 보정 학습부는,
    상기 합성영상을 입력하여 상기 영상 보정 학습모델의 학습을 처리하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습장치.
  7. 제2항에 있어서,
    상기 제너레이터는,
    상기 컬러 보안영상에 대응되는 상기 보정영상을 출력하도록 학습된 제1제너레이터와,
    상기 상기 보정영상에 대응되는 상기 컬러 보안영상을 출력하도록 학습된 제2제너레이터를 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습장치.
  8. 제7항에 있어서,
    상기 영상 보정 학습부는,
    상기 학습 데이터 저장부에 저장된 상기 휴대용 보안영상 및 검출정보를 기반으로 생성된 합성영상을 상기 제1제너레이터의 입력과, 상기 제2제너레이터의 출력으로 제공하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습장치.
  9. 보안영상을 학습하는 방법에 있어서,
    컬러 보안영상과 휴대용 보안영상 사이의 차이를 검출하고, 상기 컬러 보안영상의 입력에 대응되는 보정영상을 출력하는 영상 보정 학습모델에 대한 학습을 수행하는 과정과,
    상기 보정영상을 입력받고 목적물 및 비목적물을 포함하는 검출정보를 출력하는 객체 검출 학습모델을 학습하는 과정을 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습방법.
  10. 제9항에 있어서,
    상기 영상 보정 학습모델에 대한 학습을 수행하는 과정은,
    디스크리미네이터를 통해 상기 휴대용 보안영상에 대한 특성을 선행적으로 학습하는 과정과,
    제너레이터를 통해 상기 컬러 보안영상을 보정한 상기 보정영상을 구성하는 과정을 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습방법.
  11. 제10항에 있어서,
    상기 제너레이터로부터 제공되는 보정영상이 상기 휴대용 보안영상에 대응되는지를 분류하는 학습을 수행하는 과정을 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습방법.
  12. 제9항에 있어서,
    상기 휴대용 보안영상이 상기 객체 검출 학습모델에 입력되어 검출된 검출정보를 확인하는 과정과,
    상기 휴대용 보안영상 및 검출정보를 구분하여 저장하는 과정을 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습방법.
  13. 제12항에 있어서,
    미리 저장된 상기 휴대용 보안영상 및 검출정보를 기반으로 합성영상을 생성하는 과정을 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습방법.
  14. 제13항에 있어서,
    상기 합성영상을 입력하여 상기 영상 보정 학습모델에 입력하여, 상기 영상 보정 학습모델의 학습을 수행하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습방법.
  15. 제10항에 있어서,
    상기 영상 보정 학습모델에 대한 학습을 수행하는 과정은,
    상기 컬러 보안영상에 대응되는 상기 보정영상을 출력하도록 제1제너레이터를 학습하는 과정과,
    상기 보정영상에 대응되는 상기 컬러 보안영상을 출력하도록 제2제너레이터를 학습하는 과정을 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습방법.
  16. 제15항에 있어서,
    상기 제1제너레이터를 학습하는 과정은,
    상기 학습 데이터 저장부에 저장된 상기 휴대용 보안영상 및 검출정보를 기반으로 생성된 합성영상을 입력받고, 이에 대응되는 보정영상을 출력하도록 학습을 수행하는 과정을 포함하고,
    상기 제2제너레이터를 학습하는 과정은,
    상기 보정영상을 입력받고, 상기 합성영상을 출력하도록 학습을 수행하는 과정을 포함하는 과정을 더 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습방법.
PCT/KR2020/013686 2019-10-07 2020-10-07 인공지능 기반의 휴대용 보안영상 학습장치 및 방법 WO2021071258A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190123942A KR102101481B1 (ko) 2019-10-07 2019-10-07 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
KR10-2019-0123942 2019-10-07

Publications (1)

Publication Number Publication Date
WO2021071258A1 true WO2021071258A1 (ko) 2021-04-15

Family

ID=70460904

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013686 WO2021071258A1 (ko) 2019-10-07 2020-10-07 인공지능 기반의 휴대용 보안영상 학습장치 및 방법

Country Status (2)

Country Link
KR (1) KR102101481B1 (ko)
WO (1) WO2021071258A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102101481B1 (ko) * 2019-10-07 2020-04-17 (주)제이엘케이인스펙션 인공지능 기반의 휴대용 보안영상 학습장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046349A (ko) * 2017-10-26 2019-05-07 삼성에스디에스 주식회사 기계 학습 기반의 객체 검출 방법 및 그 장치
KR102101481B1 (ko) * 2019-10-07 2020-04-17 (주)제이엘케이인스펙션 인공지능 기반의 휴대용 보안영상 학습장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046349A (ko) * 2017-10-26 2019-05-07 삼성에스디에스 주식회사 기계 학습 기반의 객체 검출 방법 및 그 장치
KR102101481B1 (ko) * 2019-10-07 2020-04-17 (주)제이엘케이인스펙션 인공지능 기반의 휴대용 보안영상 학습장치 및 방법

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BEJIGA MESAY BELETE; MELGANI FARID: "Gan-Based Domain Adaptation for Object Classification", IGARSS 2018 - 2018 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM, IEEE, 22 July 2018 (2018-07-22), pages 1264 - 1267, XP033437845, DOI: 10.1109/IGARSS.2018.8518649 *
GALVEZ REAGAN L.; DADIOS ELMER P.; BANDALA ARGEL A.; VICERRA RYAN RHAY P.: "Threat Object Classification in X-ray Images Using Transfer Learning", 2018 IEEE 10TH INTERNATIONAL CONFERENCE ON HUMANOID, NANOTECHNOLOGY, INFORMATION TECHNOLOGY,COMMUNICATION AND CONTROL, ENVIRONMENT AND MANAGEMENT (HNICEM), IEEE, 29 November 2018 (2018-11-29), pages 1 - 5, XP033530032, DOI: 10.1109/HNICEM.2018.8666344 *
JEFF DONAHUE, KRÄHENBÜHL PHILIPP, DARRELL TREVOR: "Adversarial Feature Learning", ARXIV:1605.09782V7 [CS.LG], 3 April 2017 (2017-04-03), XP055537374, Retrieved from the Internet <URL:https://arxiv.org/abs/1605.09782v7> [retrieved on 20181220] *
SAMET AKCAY, KUNDEGORSKI MIKOLAJ E., WILLCOCKS CHRIS G., BRECKON TOBY P.: "Using Deep Convolutional Neural Network Architectures for Object Classification and Detection Within X-Ray Baggage Security Imagery", IEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY, IEEE , PISCATWAY , NJ, US, vol. 13, no. 9, 5 March 2018 (2018-03-05), US, pages 2203 - 2215, XP055609524, ISSN: 1556-6013, DOI: 10.1109/TIFS.2018.2812196 *
YUE ZHANG; SHUN MIAO; TOMMASO MANSI; RUI LIAO: "Task Driven Generative Modeling for Unsupervised Domain Adaptation: Application to X-ray Image Segmentation", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 12 June 2018 (2018-06-12), 201 Olin Library Cornell University Ithaca, NY 14853, XP081763687, DOI: 10.1007/978-3-030-00934-2_67 *

Also Published As

Publication number Publication date
KR102101481B1 (ko) 2020-04-17

Similar Documents

Publication Publication Date Title
WO2018217019A1 (ko) 신경망 학습 기반의 변종 악성 코드를 탐지하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
JP7051267B2 (ja) 画像検出方法、装置、電子設備、記憶媒体、及びプログラム
WO2019132589A1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
WO2020246834A1 (ko) 이미지 객체 인식 장치 및 방법
WO2014051246A1 (en) Method and apparatus for inferring facial composite
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2019164074A1 (ko) 미세 먼지 분석 방법 및 이를 수행하기 위한 장치
WO2013048159A1 (ko) 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
EP4004868A1 (en) Method and system for generating a tri-map for image matting
WO2021071288A1 (ko) 골절 진단모델의 학습 방법 및 장치
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2021071286A1 (ko) 생성적 적대 신경망 기반의 의료영상 학습 방법 및 장치
US10528844B2 (en) Method and apparatus for distance measurement
WO2019088335A1 (ko) 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법
WO2016204402A1 (ko) 부품 결함 검사 방법 및 그 장치
WO2019132592A1 (ko) 영상 처리 장치 및 방법
EP3756160A1 (en) System and method for fast object detection
WO2018143486A1 (ko) 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
WO2017003240A1 (ko) 영상 변환 장치 및 그 영상 변환 방법
WO2023158068A1 (ko) 객체검출률 향상을 위한 학습시스템 및 그 방법
CN111104921A (zh) 一种基于Faster rcnn的多模态行人检测模型及方法
WO2022191424A1 (ko) 전자 장치 및 그 제어 방법
WO2017086522A1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20875002

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 08/09/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20875002

Country of ref document: EP

Kind code of ref document: A1