WO2017039086A1 - 웹플러그인 기반 딥러닝 모듈화시스템 및 이를 이용한 영상인식방법 - Google Patents

웹플러그인 기반 딥러닝 모듈화시스템 및 이를 이용한 영상인식방법 Download PDF

Info

Publication number
WO2017039086A1
WO2017039086A1 PCT/KR2016/000707 KR2016000707W WO2017039086A1 WO 2017039086 A1 WO2017039086 A1 WO 2017039086A1 KR 2016000707 W KR2016000707 W KR 2016000707W WO 2017039086 A1 WO2017039086 A1 WO 2017039086A1
Authority
WO
WIPO (PCT)
Prior art keywords
deep learning
image object
module
learning algorithm
database
Prior art date
Application number
PCT/KR2016/000707
Other languages
English (en)
French (fr)
Inventor
이준혁
제성관
Original Assignee
(주)한국플랫폼서비스기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)한국플랫폼서비스기술 filed Critical (주)한국플랫폼서비스기술
Publication of WO2017039086A1 publication Critical patent/WO2017039086A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Definitions

  • the present invention relates to a modular system for deep learning analysis, and more particularly, modularizes each deep learning technology according to a plug-in used in a web browser, and uses a user by plugging in modular deep learning algorithms.
  • the present invention relates to a web plug-in based deep learning modular system that can be used to easily understand algorithms and complex structures of deep learning techniques.
  • deep learning is defined as a set of machine learning algorithms that attempt to achieve a high level of abstraction through a combination of several nonlinear transformations, and is a field of machine learning that teaches computers to think about human thinking in a large framework.
  • the prior art includes an input unit for receiving a still image, a physical information extractor for inferring physical information including a visual feature of an object by analyzing the still image, and interpreting the still image to describe an abstract concept or situation.
  • a semantic information extraction unit for inferring semantic information corresponding to an attribute of an image
  • an automatic tagging unit for integrating the still image metadata, the physical information, and the semantic information and tagging the still image Relates to a tagging system.
  • the conventional technology is applied only to a part of extracting and tagging semantic information corresponding to the property of an image of still image, and applied to an application service in analyzing and classifying each image content through deep learning technology.
  • the development period and the test period take a long time to determine.
  • the present invention is directed to an open source based IDE environment such as deep neural networks, convolutional neural networks, recurrent neural networks, and the like. Its purpose is to provide convenience to build recognition-related application services by providing a solution that plugs in modules of each deep learning technology according to the above.
  • the system of the present invention transmits an image object module through a standard API interface 11 including standard logic circuits and input / output channels for connection between modules, and the standard API interface 11.
  • An image object database 12 for receiving and storing image object data for each category in a module state, and a deep learning algorithm for implementing an image object recognition application service through an iterative operation of the image object stored in the image object database 12.
  • Deep Learning Algorithm Module Database 13
  • a trained dataset storage (14) for storing training data by statistic of the output values through repetitive operations of inputting the image object data into the Deep Learning algorithm.
  • an application service database 15 for integrating and building the data of the trained dataset store 14 to store the programmed application services.
  • the standard API interface unit 11 is applied in a drag-and-drop manner, and components for each category and module are linked.
  • the deep learning algorithm module database modulates one or more deep learning algorithms such as a deep neural network, a convolutional neural network, a recurrent neural network, and stores the data in a database.
  • deep learning algorithms such as a deep neural network, a convolutional neural network, a recurrent neural network, and stores the data in a database.
  • the standard API interface 11 displays an image object module and a deep learning algorithm module on the screen 40
  • the screen 40 includes a deep learning module space 41 for displaying a deep learning algorithm module.
  • the image object module space 42 for displaying the image object module, the canvas space 43 for arranging the displayed image object module and the deep learning algorithm module, and the arranged image object module and the deep learning algorithm module perform operations.
  • the screen 40 further includes a pallet space 45 displaying a connect tool capable of arranging detailed connection ports in the canvas space 43 in which the image object and the deep learning algorithm module are disposed.
  • the image recognition method using the deep learning analysis of the present invention comprises storing the image object in the image object database of the modularization system, and modularizing the stored image object (S110), one or more in the deep learning algorithm module database of the modularization system Modularizing and storing the deep learning algorithm (S120), loading the modularized image object and the deep learning algorithm onto the screen through the standard API interface (S130), selecting the loaded image object and the deep learning algorithm, respectively.
  • the application service may be configured to recognize information on the image object.
  • the developed technologies can be modularized to determine whether they are applied to various application services in a short time, and the problems with the collected database can be analyzed. This can increase the performance of application services.
  • FIG. 1 is a block diagram of a modular system of the present invention.
  • FIG. 2 is a flowchart illustrating a method for building an application system using a modular system according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an image recognition method through an application service according to an embodiment of the present invention.
  • FIG. 4 illustrates an example of disposing an image object and a deep learning algorithm on a screen through a standard API interface according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of a modular system of the present invention
  • Figure 2 is a flow chart of a method for building an application system using a modular system according to an embodiment of the present invention
  • Figure 3 is an application service according to an embodiment of the present invention 4 is a flowchart illustrating an image recognition method through FIG. 4, and
  • FIG. 4 illustrates an example of disposing an image object and a deep learning algorithm on a screen through a standard API interface according to an embodiment of the present invention.
  • the modular system of the present invention transmits an image object module through a standard API interface 11 including a standard logic circuit and an input / output channel for connection between modules, and the standard API interface 11.
  • an image object database 12 for receiving and storing image object data for each category in a module state, and deep learning for implementing an image object recognition application service through an iterative operation of the image object stored in the image object database 12.
  • Deep learning algorithm module database (13) that is stored by modularizing the algorithm, and a trained dataset store for storing the trained data by statistic of the output value through repetitive operation of inputting the image object data into the deep learning algorithm (14);
  • an application service database 15 for integrating and building the data of the trained dataset store 14 to store the programmed application services.
  • the standard API interface unit 11 is applied in a drag-and-drop manner, and components for each category and module are linked.
  • the deep learning algorithm module database modulates one or more deep learning algorithms such as a deep neural network, a convolutional neural network, a recurrent neural network, and stores the data in a database.
  • deep learning algorithms such as a deep neural network, a convolutional neural network, a recurrent neural network, and stores the data in a database.
  • the deep learning algorithm module database stores one or more deep learning algorithms in a database because the deep learning algorithms suitable for each image object module are different in the process of analyzing the image objects.
  • the deep learning algorithm module used to analyze 10,000 dog image objects is in-depth for the object identification model.
  • the deep neural network algorithm which has the structure of neural network and each object expresses the hierarchical composition of the basic elements of the image, is suitable, and the algorithm module used when analyzing 10,000 font image objects is the unit of the strabismus that constitutes the neural network.
  • the cyclic neural network algorithm can be suitably used as the neural network where the connection constitutes a direct cycle.
  • the standard API interface 11 displays an image object module and a deep learning algorithm module on the screen 40
  • the screen 40 includes a deep learning module space 41 for displaying a deep learning algorithm module.
  • the image object module space 42 for displaying the image object module, the canvas space 43 for arranging the displayed image object module and the deep learning algorithm module, and the arranged image object module and the deep learning algorithm module perform operations.
  • the screen 40 further includes a pallet space 45 displaying a connect tool capable of arranging detailed connection ports in the canvas space 43 in which the image object and the deep learning algorithm module are disposed.
  • the image recognition method of the present invention storing the image object in the image object database of the modularization system, and modularizing the stored image object (S110), the deep learning algorithm module database of the modularization system Modularizing and storing one or more deep learning algorithms (S120), loading the modularized image objects and deep learning algorithms onto the screen through a standard API interface (S130), and selecting the loaded image objects and deep learning algorithms, respectively.
  • the image object classifies the image features through a deep learning algorithm, storing and repeating the output result of the classified features (S150), the result output through the iterative operation Configuring and storing a trained data set by statistic values (S160) and the trained de Programming the iterset to build an application service and storing it in an application service database (S170).
  • the application service may be configured to recognize information on the image object.
  • each of the loaded image object and the deep learning algorithm are selected and disposed in the canvas space on the screen, and each image object module and the deep learning algorithm module are applied in a drag and drop manner.
  • Executing an application service stored in the application service database (S210); inputting an image object in a modular state to the executed application service (S220); and in the application service, an input is performed based on a trained data set. Analyzing the similarity with the image object (S230), determining the similarity between the feature points of the image objects stored in the trained data set and the feature point of the input image object (S240), and the image object having the high similarity among the image objects. And outputting the information (S250).
  • the present invention relates to a web plug-in based deep learning modularization system and an image recognition method using the same.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 웹 브라우저에 사용되는 플러그인(Plug-in)에 따른 다양한 딥러닝 기술을 모듈화하며, 모듈화된 딥러닝 알고리즘들을 플러그인하여 사용자가 사용하기 어려운 딥러닝 기술의 알고리즘 이해와 복작한 구조를 간단하게 도식화하여 사용할 수 있는 웹플러그인 기반 딥러닝 모듈화시스템에 관한 것이다. 웹플러그인 기반 딥러닝 모듈화시스템 및 이를 이용한 영상 인식 방법을 이용하면, 개발되는 기술들을 모듈화하여 여러가지 응용서비스에 적용여부를 단시간내에 결정할 수 있으며, 수집된 데이터베이스에 대한 문제점을 분석할 수 있어 응용서비스의 성능을 높일 수 있는 것을 기술적 특징으로 한다.

Description

웹플러그인 기반 딥러닝 모듈화시스템 및 이를 이용한 영상인식방법
본 발명은 딥러닝 분석을 위한 모듈화 시스템에 관한 것으로, 더욱 상세하게는 웹 브라우저에 사용되는 플러그인(Plug-in)에 따른 각 딥러닝 기술을 모듈화하며, 모듈화된 딥러닝 알고리즘들을 플러그인하여 사용자가 사용하기 어려운 딥러닝 기술의 알고리즘 이해와 복잡한 구조를 간단하게 도식화하여 사용할 수 있는 웹플러그인 기반 딥러닝 모듈화시스템에 관한 것이다.
일반적으로 딥러닝(Deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습 알고리즘의 집합으로 정의되며, 큰틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야이다.
어떠한 데이터가 있을 때 이를 컴퓨터가 알아 들을 수 있는 형태(예를 들어 이미지의 경우 픽셀정보를 열벡터로 표현하는 툴)로 표현하고 이를 학습에 적용하기 위해 많은 연구가 진행되고 있으며, 이러한 노력의 결과로 심층 신경망(deep neural networks), 합성곱 신경망(convolutional neural network), 순환 신경망(Recurrent neural network)와 같은 다양한 딥러닝 기법들이 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용되어 우수한 성능의 응용프로그램들이 개발되고 있다.
이와 같은 영상 콘텐츠 내에 포함되어 있는 객체를 인식하며, 태깅하는 종래의 기술로는 대한민국 공개특허 제10-2015-0079064호(자동 태깅 시스템 및 그 방법, 이하 '선행기술'이라함)이 있다.
상기 선행기술은 정지 영상을 입력받는 입력부, 상기 정지 영상을 해석하여 객체의 시각적인 특징을 포함하는 물리적인 정보를 추론하는 물리적 정보 추출부, 상기 정지 영상을 해석하여 추상적인 개념 또는 상황을 묘사하는 영상의 속성에 해당하는 의미론적인 정보를 추론하는 의미론적 정보 추출부, 그리고 상기 정지 영상의 메타 데이터, 상기 물리적인 정보 및 상기 의미론적인 정보를 통합하여 상기 정지 영상에 태깅하는 자동 태깅부를 포함하는 자동 태깅 시스템에 관한 것이다.
그러나 종래의 기술은 정지영상에 대한 영상의 속성에 해당하는 의미론적 정보를 추출하여 태깅하는 부분에만 적용되며, 각각의 영상 콘텐츠를 딥러닝 기술을 통해 분석하고 분류하는 데에 있어 응용서비스에 적용여부를 판단하기에 개발기간 및 테스트 기간이 장기간 소요되는 문제점이 있었다.
각각의 카테고리별 데이터가 방대한 양을 가지고 있어 테스트 후 성능이 제대로 나오지 않으면 DB수집부터 다시 해야 되는 문제점이 있었다.
이러한 문제점들은 인식관련 응용서비스를 개발하기 위해서 딥러닝 기술의 알고리즘 구현 및 복잡한 구조를 이해해야만 개발이 가능하며, 개발하고자하는 응용기술에 대한 정확한 딥러닝 알고리즘 적용이 응용서비스의 성능을 좌우한다.
상기와 같은 문제점을 해결하기 위해 안출된 것으로 본 발명은 수집된 데이터베이스를 심층 신경망(deep neural networks), 합성곱 신경망(convolutional neural network), 순환 신경망(Recurrent neural network)등과 같은 오픈소스기반 IDE 환경에 따른 각 딥러닝 기술의 모듈들을 플러그인하는 솔루션을 제공하여 인식관련 응용서비스 구축에 편리성을 제공하는 데에 그 목적이 있다.
또한, 수요처의 부담을 감소시키며, 판매 대상에 따른 맞춤형 모듈을 제공하는데 그 목적이 있다.
또한, 모듈화를 통해 훈련된 데이터셋의 영상특징들을 훈련하며, 그 결과값을 통해 정지영상을 인식할 수 있는 영상 인식 방법을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위해 본 발명의 시스템은 모듈간의 연결을 위한 표준 논리 회로와 입출력 채널을 포함하는 표준 API 인터페이스와(11), 상기 표준 API 인터페이스(11)를 통해 이미지 객체 모듈을 송신 및 수신하고 각 카테고리별로 이미지 객체 데이터를 모듈상태로 저장하는 이미지 객체 데이터베이스(12)와, 상기 이미지 객체 데이터베이스(12)에 저장된 이미지 객체를 반복작업을 통해 이미지 객체 인식 응용서비스를 구현하기 위한 딥러닝 알고리즘을 모듈화하여 저장되는 딥러닝 알고리즘 모듈 데이터베이스(13)과, 상기 이미지 객체 데이터를 딥러닝 알고리즘에 입력하는 반복적인 작업을 통해 출력된 결과값을 통계하여 훈련 데이터를 저장하는 훈련된 데이터셋 저장소(14); 및 상기 훈련된 데이터셋 저장소(14)의 데이터를 통합구축하여 프로그래밍 된 응용서비스를 저장하는 응용서비스데이터베이스(15)를 포함하여 구성된다.
이때, 상기 표준API 인터페이스부(11)는 드래그앤드롭 방식으로 적용되며, 카테고리별, 모듈별 컴포넌트가 연동된다.
또한, 상기 딥러닝 알고리즘 모듈 데이터베이스는 심층 신경망(deep neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network) 등과 같은 하나 이상의 딥러닝 알고리즘을 모듈화하여 데이터베이스에 저장하게 된다.
또한, 상기 표준 API 인터페이스부(11)는 이미지 객체 모듈 및 딥러닝 알고리즘 모듈을 화면(40)상에 디스플레이하되, 상기 화면(40)은 딥러닝 알고리즘 모듈을 디스플레이하는 딥러닝 모듈공간(41)과, 상기 이미지 객체 모듈을 디스플레이하는 이미지 객체 모듈공간(42)과, 상기 디스플레이 된 이미지 객체 모듈 및 딥러닝 알고리즘 모듈을 배치하는 캔버스 공간(43) 및 배치된 이미지 객체 모듈 및 딥러닝 알고리즘 모듈이 연산을 하여 출력되는 출력결과를 표시하는 출력화면(44)을 포함하여 구성된다.
이때, 상기 화면(40)은 이미지 객체 및 딥러닝 알고리즘 모듈이 배치되는 캔버스 공간(43)에 세부적인 연결포트를 배치할 수 있는 커넥트툴을 디스플레이하는 파렛트공간(45)을 더 포함하여 구성된다.
또한, 본 발명의 딥러닝 분석을 이용한 영상 인식 방법은 모듈화시스템의 이미지 객체 데이터베이스에 이미지 객체를 저장하며, 저장된 이미지 객체를 모듈화하는 단계(S110), 상기 모듈화시스템의 딥러닝 알고리즘 모듈 데이터베이스에 하나 이상의 딥러닝 알고리즘을 모듈화하며 저장하는 단계(S120), 모듈화된 이미지 객체 및 딥러닝 알고리즘을 표준 API 인터페이스를 통해 화면상으로 불러오는 단계(S130), 불러온 이미지 객체 및 딥러닝 알고리즘을 각각 선택하며 화면상의 캔버스 공간에 배치하는 단계(S140), 상기 이미지 객체가 딥러닝 알고리즘을 통해 영상특징들을 분류하며 분류된 특징들의 출력 결과를 저장 및 반복하는 단계(S150), 상기 반복 연산을 통해 출력된 결과값을 통계내어 훈련된 데이터셋을 구성하여 저장하는 단계(S160) 및 상기 훈련된 데이터셋을 프로그래밍화하여 응용 서비스를 구축하고 응용서비스 데이터베이스에 저장하는 단계(S170)를 포함한다.
이때, 상기 응용 서비스를 구축하고 응용서비스 데이터베이스에 저장하는 단계(S170)는, 훈련된 데이터셋을 기반으로 이미지 객체를 입력할 경우 해당 이미지 객체에 대한 정보를 인식할 수 응용서비스를 구축한다.
이와 같은 구성으로 본 발명의 웹플러그인 기반 딥러닝 모듈화시스템 및 이를 이용한 영상 인식 방법이 완성되는 것이다.
본 발명의 웹플러그인 기반 딥러닝 모듈화시스템 및 이를 이용한 영상 인식 방법을 이용하면, 개발되는 기술들을 모듈화하여 여러가지 응용서비스에 적용여부를 단시간내에 결정할 수 있으며, 수집된 데이터베이스에 대한 문제점을 분석할 수 있어 응용서비스의 성능을 높일 수 있는 효과가 있다.
또한, 여러가지 응용서비스를 통해 정지영상에 대한 정보를 훈련된 데이터셋으로 분석하여 인식할 수 있는 효과가 있다.
도 1은 본 발명의 모듈화시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 모듈화 시스템을 이용한 응용시스템 구축 방법에 관한 순서도이다.
도 3은 본 발명의 일실시예에 따른 응용서비스를 통한 영상 인식 방법에 관한 순서도이다.
도 4는 본 발명의 일실시예에 따른 표준 API 인터페이스를 통해 이미지 객체 및 딥러닝 알고리즘을 화면상에 배치하는 예시도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이하 도면을 참조하여 본 발명의 웹플러그인 기반 딥러닝 모듈화시스템 및 이를 이용한 영상 인식 방법에 대하여 상세하게 설명한다.
도 1은 본 발명의 모듈화시스템의 구성도이고, 도 2는 본 발명의 일실시예에 따른 모듈화 시스템을 이용한 응용시스템 구축 방법에 관한 순서도이고, 도 3은 본 발명의 일실시예에 따른 응용서비스를 통한 영상 인식 방법에 관한 순서도이고, 도 4는 본 발명의 일실시예에 따른 표준 API 인터페이스를 통해 이미지 객체 및 딥러닝 알고리즘을 화면상에 배치하는 예시도이다.
도 1을 참조하여 설명하면, 본 발명의 모듈화시스템은 모듈간의 연결을 위한 표준 논리 회로와 입출력 채널을 포함하는 표준 API 인터페이스와(11), 상기 표준 API 인터페이스(11)를 통해 이미지 객체 모듈을 송신 및 수신하고 각 카테고리별로 이미지 객체 데이터를 모듈상태로 저장하는 이미지 객체 데이터베이스(12)와, 상기 이미지 객체 데이터베이스(12)에 저장된 이미지 객체를 반복작업을 통해 이미지 객체 인식 응용서비스를 구현하기 위한 딥러닝 알고리즘을 모듈화하여 저장되는 딥러닝 알고리즘 모듈 데이터베이스(13)과, 상기 이미지 객체 데이터를 딥러닝 알고리즘에 입력하는 반복적인 작업을 통해 출력된 결과값을 통계하여 훈련된 데이터를 저장하는 훈련된 데이터셋 저장소(14); 및 상기 훈련된 데이터셋 저장소(14)의 데이터를 통합구축하여 프로그래밍 된 응용서비스를 저장하는 응용서비스데이터베이스(15)를 포함하여 구성된다.
이때, 상기 표준API 인터페이스부(11)는 드래그앤드롭 방식으로 적용되며, 카테고리별, 모듈별 컴포넌트가 연동된다.
또한, 상기 딥러닝 알고리즘 모듈 데이터베이스는 심층 신경망(deep neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network) 등과 같은 하나 이상의 딥러닝 알고리즘을 모듈화하여 데이터베이스에 저장하게 된다.
여기서 상기 딥러닝 알고리즘 모듈 데이터베이스에 하나 이상의 딥러닝 알고리즘을 모듈화하여 데이터베이스에 저장하는 것은 이미지 객체를 분석하는 과정에서 각각의 이미지 객체 모듈에 따라 적합한 딥러닝 알고리즘이 다르기 때문이다.
예를 들면, 카테고리별로 1만장의 이미지객체를 수집하여 모듈화한 상태에서 딥러닝 알고리즘을 통해 분석하는 경우, 1만장의 강아지 이미지객체를 분석할 때 사용되는 딥러닝 알고리즘 모듈이 사물 식별 모델을 위한 심층 신경망의 구조를 지니며, 각 객체가 이미지 기본 요소들의 계층적 구성을 표현하는 심층 신경망 알고리즘이 적합하며, 1만장의 글자체 이미지객체를 분석할 때 사용되는 알고리즘 모듈은 인공신경망을 구성하는 유닛 사시의 연결이 다이렉트 사이클을 구성하는 신경망으로 순환 신경망 알고리즘이 적합하게 사용될 수 있는 것이다.
또한, 상기 표준 API 인터페이스부(11)는 이미지 객체 모듈 및 딥러닝 알고리즘 모듈을 화면(40)상에 디스플레이하되, 상기 화면(40)은 딥러닝 알고리즘 모듈을 디스플레이하는 딥러닝 모듈공간(41)과, 상기 이미지 객체 모듈을 디스플레이하는 이미지 객체 모듈공간(42)과, 상기 디스플레이 된 이미지 객체 모듈 및 딥러닝 알고리즘 모듈을 배치하는 캔버스 공간(43) 및 배치된 이미지 객체 모듈 및 딥러닝 알고리즘 모듈이 연산을 하여 출력되는 출력결과를 표시하는 출력화면(44)을 포함하여 구성된다.(도 4 참조)
이때, 상기 화면(40)은 이미지 객체 및 딥러닝 알고리즘 모듈이 배치되는 캔버스 공간(43)에 세부적인 연결포트를 배치할 수 있는 커넥트툴을 디스플레이하는 파렛트공간(45)을 더 포함하여 구성된다.
도 2를 참조하여 설명하면, 본 발명의 영상 인식 방법은, 모듈화시스템의 이미지 객체 데이터베이스에 이미지 객체를 저장하며, 저장된 이미지 객체를 모듈화하는 단계(S110), 상기 모듈화시스템의 딥러닝 알고리즘 모듈 데이터베이스에 하나 이상의 딥러닝 알고리즘을 모듈화하며 저장하는 단계(S120), 모듈화된 이미지 객체 및 딥러닝 알고리즘을 표준 API 인터페이스를 통해 화면상으로 불러오는 단계(S130), 불러온 이미지 객체 및 딥러닝 알고리즘을 각각 선택하며 화면상의 캔버스 공간에 배치하는 단계(S140), 상기 이미지 객체가 딥러닝 알고리즘을 통해 영상특징들을 분류하며 분류된 특징들의 출력 결과를 저장 및 반복하는 단계(S150), 상기 반복 연산을 통해 출력된 결과값을 통계내어 훈련된 데이터셋을 구성하여 저장하는 단계(S160) 및 상기 훈련된 데이터셋을 프로그래밍화하여 응용 서비스를 구축하고 응용서비스 데이터베이스에 저장하는 단계(S170)를 포함한다.
이때, 상기 응용 서비스를 구축하고 응용서비스 데이터베이스에 저장하는 단계(S170)는, 훈련된 데이터셋을 기반으로 이미지 객체를 입력할 경우 해당 이미지 객체에 대한 정보를 인식할 수 응용서비스를 구축한다.
또한, 상기 불러온 이미지 객체 및 딥러닝 알고리즘을 각각 선택하여 화면상의 캔버스공간에 배치하는 단계는, 각각의 이미지 객체 모듈 및 딥러닝 알고리즘 모듈은 드래그앤드롭 방식으로 적용된다.
도 3을 참조하여 본 발명의 일실시예에 따른 응용 서비스를 이용한 이미지 객체 인식방법에 대해 설명한다.
상기 응용 서비스 데이터베이스에 저장된 응용서비스를 실행하는 단계(S210)와, 상기 실행된 응용 서비스에 모듈화 된 상태의 이미지 객체를 입력하는 단계(S220)와, 응용 서비스에서는 훈련된 데이터셋을 기반으로 입력된 이미지 객체와 유사도를 분석하는 단계(S230)와, 상기 훈련된 데이터셋에 저장된 이미지 객체들의 특징점과 입력된 이미지 객체의 특징점의 유사도을 판단하는 단계(S240) 및 이미지 객체들 중 유사도가 높은 이미지 객체의 정보를 출력하는 단계(S250)로 구성된다.
이와 같은 구성으로 본 발명의 웹플러그인 기반 딥러닝 모듈화시스템 및 이를 이용한 영상 인식 방법에 관한 것이다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (7)

  1. 모듈간의 연결을 위한 표준 논리 회로와 입출력 채널을 포함하는 표준 API 인터페이스와(11);
    상기 표준 API 인터페이스(11)를 통해 이미지 객체 모듈을 송신 및 수신하고 각 카테고리별로 이미지 객체 데이터를 모듈상태로 저장하는 이미지 객체 데이터베이스(12)와;
    상기 이미지 객체 데이터베이스(12)에 저장된 이미지 객체를 반복작업을 통해 이미지 객체 인식 응용서비스를 구현하기 위한 딥러닝 알고리즘을 모듈화하여 저장되는 딥러닝 알고리즘 모듈 데이터베이스(13)과;
    상기 이미지 객체 데이터를 딥러닝 알고리즘에 입력하는 반복적인 작업을 통해 출력된 결과값을 통계하여 훈련 데이터를 저장하는 훈련된 데이터셋 저장소(14); 및 상기 훈련된 데이터셋 저장소(14)의 데이터를 통합구축하여 프로그래밍 된 응용서비스를 저장하는 응용서비스 데이터베이스(15);를 포함하여 구성된 것을 특징으로 하는 웹플러그인 기반 딥러닝 모듈화시스템.
  2. 제1항에 있어서,
    상기 표준API 인터페이스부(11)는 드래그앤드롭 방식으로 적용되며, 카테고리별, 모듈별 컴포넌트가 연동되는 것을 특징으로 하는 웹플러그인 기반 딥러닝 모듈화시스템.
  3. 제1항에 있어서,
    상기 딥러닝 알고리즘 모듈 데이터베이스는 심층 신경망(deep neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network) 등과 같은 하나 이상의 딥러닝 알고리즘을 모듈화하여 데이터베이스에 저장하는 것을 특징으로 하는 웹플러그인 기반 딥러닝 모듈화시스템.
  4. 제1항에 있어서,
    상기 표준 API 인터페이스부(11)는 이미지 객체 모듈 및 딥러닝 알고리즘 모듈을 화면(40)상에 디스플레이하되,
    상기 화면(40)은 딥러닝 알고리즘 모듈을 디스플레이하는 딥러닝 모듈공간(41)과, 상기 이미지 객체 모듈을 디스플레이하는 이미지 객체 모듈공간(42)과, 상기 디스플레이 된 이미지 객체 모듈 및 딥러닝 알고리즘 모듈을 배치하는 캔버스 공간(43) 및 배치된 이미지 객체 모듈 및 딥러닝 알고리즘 모듈이 연산을 하여 출력되는 출력결과를 표시하는 출력화면(44)을 포함하여 구성된 것을 특징으로 하는 웹플러그인 기반 딥러닝 모듈화시스템.
  5. 제4항에 있어서,
    상기 화면(40)은 이미지 객체 및 딥러닝 알고리즘 모듈이 배치되는 캔버스 공간(43)에 세부적인 연결포트를 배치할 수 있는 커넥트툴을 디스플레이하는 파렛트공간(45)을 더 포함하여 구성되는 것을 특징으로 하는 웹플러그인 기반 딥러닝 모듈화시스템.
  6. 웹플러그인 기반 딥러닝 모듈화시스템을 이용한 영상 인식 방법에 있어서,
    상기 모듈화시스템의 이미지 객체 데이터베이스에 이미지 객체를 저장하며, 저장된 이미지 객체를 모듈화하는 단계(S110);
    상기 모듈화시스템의 딥러닝 알고리즘 모듈 데이터베이스에 하나 이상의 딥러닝 알고리즘을 모듈화하며 저장하는 단계(S120);
    모듈화된 이미지 객체 및 딥러닝 알고리즘을 표준 API 인터페이스를 통해 화면상으로 불러오는 단계(S130);
    불러온 이미지 객체 및 딥러닝 알고리즘을 각각 선택하며 화면상의 캔버스 공간에 배치하는 단계(S140);
    상기 이미지 객체가 딥러닝 알고리즘을 통해 영상특징들을 분류하며 분류된 특징들의 출력 결과를 저장 및 반복하는 단계(S150);
    상기 반복 연산을 통해 출력된 결과값을 통계내어 훈련된 데이터셋을 구성하여 저장하는 단계(S160); 및 상기 훈련된 데이터셋을 프로그래밍화하여 응용 서비스를 구축하고 응용서비스 데이터베이스에 저장하는 단계(S170);를 포함하여 구성된 것을 특징으로 하는 딥러닝 분석을 이용한 영상 인식 방법.
  7. 제6항에 있어서,
    상기 응용 서비스를 구축하고 응용서비스 데이터베이스에 저장하는 단계(S170)는, 훈련된 데이터셋을 기반으로 이미지 객체를 입력할 경우 해당 이미지 객체에 대한 정보를 인식할 수 응용서비스를 구축하는 것을 특징으로 하는 딥러닝 분석을 이용한 영상 인식 방법.
PCT/KR2016/000707 2015-09-04 2016-01-22 웹플러그인 기반 딥러닝 모듈화시스템 및 이를 이용한 영상인식방법 WO2017039086A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150125526A KR101657495B1 (ko) 2015-09-04 2015-09-04 딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법
KR10-2015-0125526 2015-09-04

Publications (1)

Publication Number Publication Date
WO2017039086A1 true WO2017039086A1 (ko) 2017-03-09

Family

ID=57079656

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/000707 WO2017039086A1 (ko) 2015-09-04 2016-01-22 웹플러그인 기반 딥러닝 모듈화시스템 및 이를 이용한 영상인식방법

Country Status (2)

Country Link
KR (1) KR101657495B1 (ko)
WO (1) WO2017039086A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101766787B1 (ko) * 2016-11-04 2017-08-09 (주)한국플랫폼서비스기술 Gpu장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법
KR101836742B1 (ko) 2016-12-05 2018-03-08 연세대학교 산학협력단 제스쳐를 판단하는 장치 및 방법
KR101729694B1 (ko) * 2017-01-02 2017-04-25 한국과학기술정보연구원 시뮬레이션 결과 예측 방법 및 장치
KR101930400B1 (ko) * 2017-01-31 2018-12-18 (주)한국플랫폼서비스기술 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법
KR20180092778A (ko) 2017-02-10 2018-08-20 한국전자통신연구원 실감정보 제공 장치, 영상분석 서버 및 실감정보 제공 방법
KR20180097949A (ko) 2017-02-24 2018-09-03 오치민 순차적 다중 합성곱 신경망을 이용한 영상 내 관절 자세 예측 방법
KR101872733B1 (ko) * 2017-06-14 2018-06-29 조선대학교산학협력단 소셜 네트워크 서비스 팔로잉 추천 시스템 및 이를 이용한 소셜 네트워크 팔로잉 추천 방법
KR102425578B1 (ko) * 2017-08-08 2022-07-26 삼성전자주식회사 객체를 인식하는 방법 및 장치
KR101977174B1 (ko) 2017-09-13 2019-05-10 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램
KR101829279B1 (ko) 2017-09-15 2018-02-19 한국과학기술정보연구원 시뮬레이션관리를 위한 장치 및 방법
KR102491546B1 (ko) 2017-09-22 2023-01-26 삼성전자주식회사 객체를 인식하는 방법 및 장치
WO2019098657A1 (ko) * 2017-11-14 2019-05-23 고려대학교 산학협력단 영상 분석 플랫폼 운영방법 및 시스템
KR102227906B1 (ko) * 2017-12-29 2021-03-16 주식회사 아임클라우드 자동 학습 데이터 생성을 통한 모델 학습 시스템 및 방법
KR101869895B1 (ko) * 2018-01-19 2018-06-25 주식회사 리싸이클파크 딥 러닝 기반의 오브젝트 인식 서버, 오브젝트 인식 시스템 및 오브젝트 인식 방법
KR101891631B1 (ko) 2018-03-07 2018-08-27 (주)크레아소프트 영상 학습 장치, 이를 이용한 촬영영상 분석 시스템 및 방법, 이를 수행하기 위한 기록매체
KR20200013174A (ko) 2018-07-20 2020-02-06 오치민 다중 합성곱 신경망을 이용한 영상 내 관절 좌표 예측 방법
KR20200017564A (ko) 2018-07-23 2020-02-19 오치민 인물 포즈 예측을 위한 사스 서비스 방법
KR102090770B1 (ko) * 2018-10-12 2020-03-18 성균관대학교산학협력단 자동화된 영상 인식 모델 생성과 영상 인식 장치 및 이를 이용한 관리 방법
KR102045223B1 (ko) * 2019-05-03 2019-11-19 주식회사 크레스콤 골 연령 분석 방법, 장치 및 컴퓨터 프로그램
CN110533170A (zh) * 2019-08-30 2019-12-03 陕西思科锐迪网络安全技术有限责任公司 一种图形化编程的深度学习神经网络搭建方法
KR20210028511A (ko) 2019-09-04 2021-03-12 국방과학연구소 통계적 특징점 선별 장치 및 방법
KR102405484B1 (ko) * 2019-12-04 2022-06-03 세종대학교산학협력단 시계열 분석 간편화를 위한 자동화된 딥러닝 스튜디오
KR102278284B1 (ko) * 2021-02-23 2021-07-16 주식회사 에이아이노미스 중첩 편집 블록을 이용한 딥러닝 모델 제작 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070051126A (ko) * 2005-11-14 2007-05-17 주식회사 케이티프리텔 개방형 모바일 비즈니스 지원 시스템에서의 개방형인터페이스 방법 및 장치
KR20150079064A (ko) * 2013-12-31 2015-07-08 주식회사 케이티 자동 태깅 시스템 및 그 방법
KR101541808B1 (ko) * 2015-04-30 2015-08-04 한국해양과학기술원 딥러닝 알고리즘을 이용한 해상교통관제 전문가 시스템 및 그 제어 방법
US20150242463A1 (en) * 2014-02-25 2015-08-27 Tsung-Han Lin Systems, apparatuses, and methods for deep learning of feature detectors with sparse coding
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070051126A (ko) * 2005-11-14 2007-05-17 주식회사 케이티프리텔 개방형 모바일 비즈니스 지원 시스템에서의 개방형인터페이스 방법 및 장치
KR20150079064A (ko) * 2013-12-31 2015-07-08 주식회사 케이티 자동 태깅 시스템 및 그 방법
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
US20150242463A1 (en) * 2014-02-25 2015-08-27 Tsung-Han Lin Systems, apparatuses, and methods for deep learning of feature detectors with sparse coding
KR101541808B1 (ko) * 2015-04-30 2015-08-04 한국해양과학기술원 딥러닝 알고리즘을 이용한 해상교통관제 전문가 시스템 및 그 제어 방법

Also Published As

Publication number Publication date
KR101657495B1 (ko) 2016-09-30

Similar Documents

Publication Publication Date Title
WO2017039086A1 (ko) 웹플러그인 기반 딥러닝 모듈화시스템 및 이를 이용한 영상인식방법
CN109815955A (zh) 题目辅助方法及系统
CN111833340A (zh) 图像检测方法、装置、电子设备及存储介质
WO2016013885A1 (en) Method for retrieving image and electronic device thereof
WO2020111505A1 (ko) 영상 기계학습을 위한 객체 gt 정보 생성 방법 및 시스템
CN109446689A (zh) 直流换流站二次系统图纸识别方法及系统
WO2021112465A1 (ko) 클라우드 저작물 분석을 통한 디자인 추천 방법
WO2012093816A2 (ko) 생성된 이미지에 포함된 객체에 대한 콜렉션을 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
CN110955590A (zh) 界面检测方法、图像处理方法、装置、电子设备及存储介质
WO2018143486A1 (ko) 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법
CN105975557A (zh) 应用于电子设备的题目搜索方法及装置
CN109543744B (zh) 一种基于龙芯派的多类别深度学习图像识别方法及其应用
CN105930486A (zh) 大数据的快速搜索方法及装置
CN112699758A (zh) 基于动态手势识别的手语翻译方法、装置、计算机设备及存储介质
WO2021095979A1 (ko) 비디오 캡션 생성장치 및 방법
WO2021261763A1 (ko) 온톨로지 데이터베이스 기반의 딥러닝을 통한 병리검사결과보고서 정제 시스템
CN107424461B (zh) 信息屏蔽方法及系统
WO2022059854A1 (ko) 비디오 컨텐츠로부터 키워드를 추출하는 전자 장치 및 비디오 컨텐츠로부터 키워드를 추출하는 방법
CN113805977B (zh) 测试取证方法及模型训练方法、装置、设备、存储介质
CN113837167A (zh) 一种文本图像识别方法、装置、设备及存储介质
WO2020209487A1 (ko) 인공 신경망 기반의 장소 인식 장치 및 이의 학습 장치
CN117891940B (zh) 多模态讽刺检测方法、装置、计算机设备以及存储介质
CN110245308A (zh) 图像提取方法、装置及终端设备
CN112784631A (zh) 一种基于深度神经网络进行人脸情绪识别的方法
WO2022108282A1 (ko) 시간적 관계정보의 컨텍스트 이해를 위한 오픈 도메인 정보 활용 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16842052

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 23/07/2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16842052

Country of ref document: EP

Kind code of ref document: A1