KR101719278B1 - Deep learnig framework and image recognition method for content-based visual image recognition - Google Patents

Deep learnig framework and image recognition method for content-based visual image recognition Download PDF

Info

Publication number
KR101719278B1
KR101719278B1 KR1020150052306A KR20150052306A KR101719278B1 KR 101719278 B1 KR101719278 B1 KR 101719278B1 KR 1020150052306 A KR1020150052306 A KR 1020150052306A KR 20150052306 A KR20150052306 A KR 20150052306A KR 101719278 B1 KR101719278 B1 KR 101719278B1
Authority
KR
South Korea
Prior art keywords
recognition
module
deep learning
algorithm
model
Prior art date
Application number
KR1020150052306A
Other languages
Korean (ko)
Other versions
KR20160122452A (en
Inventor
이준혁
제성관
Original Assignee
(주)한국플랫폼서비스기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)한국플랫폼서비스기술 filed Critical (주)한국플랫폼서비스기술
Priority to KR1020150052306A priority Critical patent/KR101719278B1/en
Publication of KR20160122452A publication Critical patent/KR20160122452A/en
Application granted granted Critical
Publication of KR101719278B1 publication Critical patent/KR101719278B1/en

Links

Images

Classifications

    • G06K9/00711—
    • G06K9/00744—

Landscapes

  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 딥러닝 분야를 기준으로 영상 및 이미지 분석을 위한 프레임워크/통합 GUI도구를 개발하여 딥러닝 기술의 어려운 환경 설비와 복잡한 구조를 단일화하여 기 공개된 딥러닝 분야 알고리즘 및 영상 분석툴을 모듈화하여 인식 기술을 통합구축하는 비주얼 콘텐츠 기반 영상 인식을 위한 딥러닝 프레임워크에 관한 것으로, 딥러닝 기술을 모듈화하며, 각 모듈별 In/Out 파라미터 속성 추출 및 훈련 데이터셋 분석, 딥러닝 시나리오의 자동화하는 콘텐츠 기반 딥러닝 분석도구(2)를 탑재하며, 상기 콘텐츠 기반 딥러닝 분석도구(2)를 통한 모듈간 IN/OUT의 파라미터 속성을 연동시키는 파라미터 속성 연동모듈(11)과, 모듈간 연동이 가능한 동적 호출 인터페이스 연동모듈(12)과, 상기 모듈간의 표준API 인터페이스 통합모듈(13)과, 모듈의 태스킹 분석, 결과, 확인을 하나로 통합하는 One-pass 통합모듈(14) 및 딥러닝 분석도구(2)를 통한 분석 결과를 저장하는 분석 결과 저장소(15)를 포함하는 통합GUI프레임워크(1)로 구성된다.
이에 따라서, 본 발명의 비주얼 콘텐츠 기반 영상 인식을 위한 딥러닝 프레임워크를 이용하면, 수집한 데이터베이스 및 개발된 인식기들은 모듈화되어 인식기프레임워크에 의해 여러 가지 응용서비스에 적용여부를 단시간내에 결정할 수 있으며, 수집된 데이터베이스에 문제점을 분석할 수 있어 응용서비스의 성능을 높일 수 있는 효과가 있다.The present invention develops a framework / integrated GUI tool for image and image analysis based on the field of deep learning, unifies the difficult environment facilities and complex structure of the deep learning technology, modularizes the deep learning algorithms and image analysis tools Depth learning framework for visual recognition based on visual content, which integrates recognition technology, modularizing deep learning technology, extracting in / out parameter attributes for each module, analyzing training dataset, and automating deep learning scenarios Based deep run analysis tool 2 and has a parameter attribute interlock module 11 for interlocking the parameter attributes of IN / OUT between modules via the content based deep run analysis tool 2, and a dynamic A call interface interworking module 12, a standard API interface integration module 13 between the modules, a task analysis result of the module, Which is composed of a One-pass integrated module (14) and deep learning analytics tools (2) integrated GUI framework (1) which includes the results store 15 for storing the results through a unified one.
Accordingly, by using the deep learning framework for visual content-based image recognition of the present invention, the collected database and the developed recognizers can be modularized and can be applied to various application services in a short time by the recognizer framework, It is possible to analyze the problem in the collected database, thereby enhancing the performance of the application service.

Description

비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법{DEEP LEARNIG FRAMEWORK AND IMAGE RECOGNITION METHOD FOR CONTENT-BASED VISUAL IMAGE RECOGNITION}[0001] DEEP LEARNING FRAMEWORK AND IMAGE RECOGNITION METHOD FOR CONTENT-BASED VISUAL IMAGE RECOGNITION [0002]

본 발명은 비주얼 콘텐츠기반의 영상 인식을 위한 딥러닝 프레임워크에 관한 것으로, 더욱 상세하게는 딥러닝 분야를 기준으로 영상 및 이미지 분석을 위한 프레임워크/통합 GUI도구를 개발하여 딥러닝 기술의 어려운 환경 설비와 복잡한 구조를 단일화하여 기 공개된 딥러닝 분야 알고리즘 및 영상 분석툴을 모듈화하여 인식 기술을 통합구축하는 비주얼 콘텐츠 기반 영상 인식을 위한 딥러닝 프레임워크에 관한 것이다.
The present invention relates to a deep learning framework for image recognition based on visual content, and more particularly, to a framework / integrated GUI tool for image and image analysis based on the deep learning field, The present invention relates to a deep learning framework for visual recognition based on visual contents, which integrates equipment and complex structures and modifies the previously disclosed deep learning algorithm and image analysis tools.

일반적으로 딥 러닝(Deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습 알고리즘의 집합으로 정의되며, 큰틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야이다.Deep learning is generally defined as a set of machine learning algorithms that try to achieve a high level of abstraction through a combination of various nonlinear transformation techniques. It is a field of machine learning that teaches computers to people's minds in a dovetail.

어떠한 데이터가 있을 때 이를 컴퓨터가 알아 들을 수 있는 형태(예를 들어 이미지의 경우는 픽셀정보를 열벡터로 표현하는 등)로 표현하고 이를 학습에 적용하기 위해 많은 연구가 진행되고 있으며, 이러한 노력의 결과로 deep neural networks, convolutional deep neural networks, deep believe networks와 같은 다양한 딥러닝 기법들이 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용되어 최첨단의 결과들을 보여주고 있다.Many researches have been carried out to express some data in a form that can be understood by the computer (for example, in the case of images, pixel information is represented by a column vector) and applied to learning. As a result, various deep learning techniques such as deep neural networks, convolutional deep neural networks, and deep believe networks are applied to fields such as computer vision, speech recognition, natural language processing, and voice / signal processing.

상기와 같은 기존의 기술은 인식관련 응용서비스를 개발하기 위해서 관련 서비스에 대한 관련 DB를 수집 후 인식기술을 테스트 후에 응용서비스에 적용여부를 판단할 수 있다.In order to develop the recognition-related application service, the existing technology as described above can collect the related DB about the related service and then determine whether the recognition technology is applied to the application service after testing the recognition technology.

종래의 기술은 응용서비스에 적용여부를 판단하기에 개발기간 및 테스트 시간이 평균 1년정도 소요된다. 테스트 후 성능 제대로 나오지 않으면 다시 DB 수집부터 재개발을 해야되는 문제점이 있다.
In order to judge whether or not the conventional technology is applied to the application service, the development period and the test time take about one year on average. If the performance does not come out properly after the test, there is a problem that the DB collection must be redeveloped again.

상기와 같은 문제점을 해결하기 위해 안출된 것으로 본 발명은 딥러닝 기술을 분석하고 그 기술을 모둘화하여 이종 모듈간 콘텐츠를 통합분석하는 시스템을 개발하여 신산업창출을 위한 콘텐츠기반 다양한 정보검색 서비스를 제공하는 것에 그 목적이 있다.
In order to solve the above-mentioned problems, the present invention has developed a system for analyzing deep learning technology and integrating the technologies of the different types of contents to provide a content-based various information search service for creating a new industry The purpose is to do.

상기와 같은 목적을 달성하기 위해 본 발명의 시스템은 대규모 데이터베이스의 구축을 위한 이미지 크롤러모듈(21)과, 상기 이미지 크롤러모듈(21)과 연동하며 데이터베이스의 정보를 카테고리별로 비주얼 속성을 태깅하는 비주얼 속성 태깅모듈(22)과, 모듈별 IN/OUT의 파라미터 속성값을 추출하는 파라미터 속성 추출모듈(23)과, 모듈별 IN/OUT의 속성값 및 훈련 데이터셋을 분석하는 속성 및 훈련데이터셋 분석모듈(24) 및 모듈을 통한 콘텐츠 학습에 대한 딥러닝 시나리오를 자동화시키는 딥러닝 시나리오 자동화모듈(25)로 구성되는 콘텐츠 기반 딥러닝 분석도구(2)를 탑재하며,In order to achieve the above object, the system of the present invention includes an image crawler module 21 for building a large-scale database, and a visual attribute for tagging visual attributes of the database information in association with the image crawler module 21, A parameter attribute extraction module 23 for extracting parameter attribute values of IN / OUT for each module, an attribute and training data set analysis module 23 for analyzing attribute values of IN / OUT and training data set for each module, Based deep learning analysis tool (2), which comprises a deep learning scenario (24) and a deep learning run scenario automation module (25) that automates deep learning scenarios for content learning via modules,

상기 콘텐츠 기반 딥러닝 분석도구(2)를 통한 모듈간 IN/OUT의 파라미터 속성을 연동시키는 파라미터 속성 연동모듈(11)과, 모듈간 연동이 가능한 동적 호출 인터페이스 연동모듈(12)과, 상기 모듈간의 표준API 인터페이스 통합모듈(13)과, 모듈의 태스킹 분석, 결과, 확인을 하나로 통합하는 One-pass 통합모듈(14) 및 딥러닝 분석도구(2)를 통한 분석 결과를 저장하는 분석 결과 저장소(15)를 포함하는 통합GUI프레임워크(1)로 구성된다.
A parameter attribute interlocking module 11 for interlocking parameter attributes of inter-module IN / OUT through the content-based deep learning analysis tool 2, a dynamic call interface interlocking module 12 capable of inter-module interworking, A standard API interface integration module 13 and a one-pass integration module 14 for integrating the task analysis, results and confirmation of the module into one, and an analysis result storage 15 for storing the analysis results through the deep learning analysis tool 2 And an integrated GUI framework (1) including the GUI.

또한, 상기 통합GUI프레임워크(1)는 드래그앤드롭 방식의 인터페이스로 연동되며, 상기 인터페이스는 카테고리별, 모듈별 컴포넌트가 연동된다.
In addition, the integrated GUI framework 1 is interlocked with a drag-and-drop interface, and the interface is interlocked with each category and module.

또한, 본 발명의 비주얼 콘텐츠 기반의 영상 인식을 위한 딥러닝 프레임워크를 이용한 영상 인식 방법은, (a)인식 및 학습의 모델을 정의하는 인식 모델 정의단계, (b)선택된 인식모델을 기반으로 시나리오 순서도를 작성 편집하는 인식 방법 순서도 작성단계, (c)선택되어진 알고리즘 모델들의 파라미터 설정을 구성하는 인식 알고리즘 파라미터 설정단계, (d)영상 및 콘텐츠 인식을 위한 시나리오 편집이 완료된 후 사용자는 인식을 위한 학습된 데이터 정보를 출력할 양식 및 차트를 설정하는 인식 출력 모델 설정단계, (e)영상 콘텐츠 인식을 위한 구성이 완료되었을 경우 인식을 시작하는 인식시작단계, (f)학습된 결과를 분석 결과 저장소(15)에 저장하는 인식 결과 저장단계 및 (g)상기 학습된 결과를 출력하는 인식결과 출력단계를 포함한다.
According to another aspect of the present invention, there is provided an image recognition method using a deep learning framework for image recognition based on visual content, comprising the steps of: (a) a recognition model defining step of defining a model of recognition and learning; (b) (C) a recognition algorithm parameter setting step of configuring the parameter setting of the selected algorithm models; (d) a step of performing a learning process for recognition after the scenario editing for image and content recognition is completed; (E) a recognition start step of starting recognition when the configuration for image content recognition is completed, (f) an analysis result storage section 15), and (g) a recognition result output step of outputting the learned result.

또한, 상기 (c)단계는, 인식 알고리즘의 In/Output 파라미터 다이어로그를 실행하는 단계, 상기 다이어로그 실행에 따라 자동 완성 기능의 파라미터 옵션 정보를 입력하는 단계, 인식 알고리즘에 설정된 파라미터의 유효성을 확인하는 파라미터 유효성 검증 실행단계 및 인식 알고리즘에 설정된 파라미터의 정보를 저장하는 단계를 더 포함한다.
The step (c) may further comprise: executing an In / Output parameter dialog of the recognition algorithm; inputting parameter option information of the auto-complete function according to execution of the dialog; checking validity of parameters set in the recognition algorithm; And storing the information of the parameter set in the recognition algorithm.

또한, 상기 (a)단계는 영상 콘텐츠 인식을 위한 기초데이터를 선택하는 인식 모델 선택 단계를 포함하며, 상기 기초데이터는 이미지 및 영상 데이터베이스의 속성 및 특징으로 구성된다.
In addition, the step (a) includes a recognition model selection step of selecting basic data for image content recognition, and the basic data is composed of attributes and characteristics of an image and an image database.

여기서, 상기 인식 모델 선택단계는 학습할 모델의 오브젝트를 불러오는 모델 오브젝트 불러오기단계, 불러온 모델의 카테고리를 설정하는 모델 카테고리 설정단계, 모델의 인식 범위를 설정하는 모델 데이터셋 범위지정단계, 상기 단계를 통한 모델의 정보를 저장하는 단계를 포함한다.
Here, the recognizing model selecting step may include a model object retrieving step of retrieving an object of a model to be learned, a model category setting step of setting a category of the loaded model, a model data set range designating step of setting a recognition range of the model, Lt; RTI ID = 0.0 > model < / RTI >

또한, 상기 (c)단계 이전에 순서도 작성을 위한 인식 알고리즘 모델을 선택하는 알고리즘 모델 선택단계를 더 포함한다.The method further includes an algorithm model selection step of selecting a recognition algorithm model for creating a flowchart before the step (c).

여기서, 상기 알고리즘 모델 선택단계는, 알고리즘 데이터리스트를 다이어로그 실행시키는 단계, 상기 실행된 알고리즘 모듈을 선택하는 단계, 선택된 알고리즘 모듈에 알고리즘의 추가여부를 판단하는 알고리즘 추가단계, 편집기 UI를 통한 알고리즘 순서를 정의하는 단계 및 정의된 알고리즘의 정보를 저장하는 단계를 포함한다.
Here, the algorithm model selection step may include a step of executing an algorithm data list, a step of selecting the executed algorithm module, an algorithm adding step of determining whether an algorithm is added to the selected algorithm module, an algorithm order And storing the information of the defined algorithm.

또한, 상기 (d)단계 이전에 출력될 모델의 차트, 그래프, 출력 보고서를 선택하는 차트, 그래프, 출력 보고서 선택단계를 더 포함한다.
The method may further include a chart, a graph, and an output report selection step of selecting a chart, a graph, and an output report of the model to be output before the step (d).

이와 같은 구성으로 본 발명의 비주얼 콘텐츠 기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법이 완성되는 것이다.
With this configuration, a deep learning framework and an image recognition method for visual content-based image recognition of the present invention are completed.

이에 따라서, 본 발명의 비주얼 콘텐츠 기반 영상 인식을 위한 딥러닝 프레임워크를 이용하면 데이터베이스 및 인식기에 대한 공통인터페이스를 구축하며, 수집한 데이터베이스 및 개발된 인식기들은 모듈화되어 인식기 프레임워크에 의해 여러 가지 응용서비스에 적용여부를 단시간내에 결정할 수 있으며, 수집된 데이터베이스에 문제점을 분석할 수 있어 응용서비스의 성능을 높일 수 있는 효과가 있다.
Accordingly, by using the deep learning framework for visual content-based image recognition of the present invention, a common interface to the database and the recognizer is constructed, and the collected database and the developed recognizers are modularized, And it is possible to analyze the problem in the collected database, thereby enhancing the performance of the application service.

또한, 본 발명은 여러 종류의 영상, 음성 인식기 및 데이터베이스를 모듈화하여 통합 프레임워크를 통해 콘텐츠를 통합분석할 수 있는 통합시스템을 제공하는 효과가 있다.
In addition, the present invention provides an integrated system capable of integrating and analyzing contents through an integrated framework by modularizing various kinds of images, speech recognizers, and databases.

도 1는 본 발명의 통합GUI프레임워크의 구성도이다.
도 2은 본 발명의 영상 인식방법의 순서도이다.
도 3는 도 2의 인식 모델 선택단계의 세부순서도이다.
도 4은 도 2의 인식 알고리즘 파라미터 설정단계의 세부순서도이다.
도 5는 도 2의 알고리즘 모델 선택단계의 세부순서도이다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 딥러닝 프레임워크를 도시하기 위한 예시도이다.1 is a configuration diagram of an integrated GUI framework of the present invention.
2 is a flowchart of the image recognition method of the present invention.
3 is a detailed flowchart of the recognition model selection step of FIG.
4 is a detailed flowchart of the recognition algorithm parameter setting step of FIG.
5 is a detailed flowchart of the algorithm model selection step of FIG.
6 to 8 are illustrations for illustrating a deep learning framework according to an embodiment of the present invention.

이하 도면을 참조하여 본 발명을 상세하게 설명한다.BEST MODE FOR CARRYING OUT THE INVENTION The present invention will be described in detail with reference to the drawings.

도 1는 본 발명의 통합GUI프레임워크(1)의 구성도이다.1 is a configuration diagram of an integrated GUI framework 1 of the present invention.

도 1을 참조하여 설명하면, 본 발명의 비주얼 콘텐츠 기반 영상 인식을 위한 딥러닝 프레임워크의 시스템은 대규모 데이터베이스의 구축을 위한 이미지 크롤러모듈(21)과, 상기 이미지 크롤러모듈(21)과 연동하며 데이터베이스의 정보를 카테고리별로 비주얼 속성을 태깅하는 비주얼 속성 태깅모듈(22)과, 모듈별 IN/OUT의 파라미터 속성값을 추출하는 파라미터 속성 추출모듈(23)과, 모듈별 IN/OUT의 속성값 및 훈련 데이터셋을 분석하는 속성 및 훈련데이터셋 분석모듈(24) 및 모듈을 통한 콘텐츠 학습에 대한 딥러닝 시나리오를 자동화시키는 딥러닝 시나리오 자동화모듈(25)로 구성되는 콘텐츠 기반 딥러닝 분석도구(2)를 탑재하며,1, the system of the deep learning framework for visual content-based image recognition of the present invention includes an image crawler module 21 for building a large-scale database, A parameter attribute extracting module 23 for extracting a parameter attribute value of an IN / OUT for each module, and an attribute value and training value of IN / OUT for each module Based depth learning analysis tool 2 consisting of an attribute and training data analysis module 24 for analyzing the dataset and a deep learning run scenario automation module 25 for automating deep learning scenarios for content learning via modules Mounted,

상기 콘텐츠 기반 딥러닝 분석도구(2)를 통한 모듈간 IN/OUT의 파라미터 속성을 연동시키는 파라미터 속성 연동모듈(11)과, 모듈간 연동이 가능한 동적 호출 인터페이스 연동모듈(12)과, 상기 모듈간의 표준API 인터페이스 통합모듈(13)과, 모듈의 태스킹 분석, 결과, 확인을 하나로 통합하는 One-pass 통합모듈(14) 및 딥러닝 분석도구(2)를 통한 분석 결과를 저장하는 분석 결과 저장소(15)를 포함하는 통합GUI프레임워크(1)로 구성된다.A parameter attribute interlocking module 11 for interlocking parameter attributes of inter-module IN / OUT through the content-based deep learning analysis tool 2, a dynamic call interface interlocking module 12 capable of inter-module interworking, A standard API interface integration module 13 and a one-pass integration module 14 which integrates the task analysis, results and confirmation of the module into one, and an analysis result storage 15 And an integrated GUI framework (1) including the GUI.

이때, 상기 콘텐츠 기반 딥러닝 분석도구(2)는 딥러닝 기술을 모듈화하며 딥러닝 Open SDK 컴포넌트 저작도구로 사용된다.
At this time, the content-based deep learning analysis tool 2 modulates the deep learning technology and is used as a deep learning open SDK component authoring tool.

또한, 상기 통합GUI프레임워크(1)는 드래그앤드롭 방식의 인터페이스로 연동되며, 카테고리별 컴포넌트 및 모듈별 컴포넌트가 연동되는 방식으로 구성된다.
In addition, the integrated GUI framework 1 is linked with a drag-and-drop interface, and is configured in such a manner that the components for each category and the components for each module are interlocked.

또한, 상기 분석 결과 저장소(15)는 딥러닝 분석을 통한 인식 결과물을 레포지토리(저장소)에 저장되는 것을 의미한다.In addition, the analysis result storage 15 means that the recognition result through the deep learning analysis is stored in the repository (repository).

또한, 모듈을 통한 분석결과는 각각의 인터페이스를 통해 가시화되는 것을 특징으로 한다.
Also, the analysis result through the module is visualized through each interface.

도 2은 본 발명의 통합 GUI 분석도구의 순서도이고, 도 3는 본 발명의 인식 모델 선택단계의 세부순서도이고, 도 4은 본 발명의 인식 알고리즘 파라미터 설정단계의 세부순서도이고, 도 5는 본 발명의 알고리즘 모델 선택단계의 세부순서도이다.FIG. 2 is a flowchart of the integrated GUI analysis tool of the present invention, FIG. 3 is a detailed flowchart of a recognition model selection step of the present invention, FIG. 4 is a detailed flowchart of a recognition algorithm parameter setting step of the present invention, FIG. 4 is a detailed flowchart of the algorithm model selection step of FIG.

도 2 내지 도 5를 참조하여 설명하면, 본 발명의 비주얼 콘텐츠 기반 영상인식을 위한 딥러닝 프레임워크의 영상 인식 방법은,2 to 5, an image recognition method of a deep learning framework for visual content-

(a)인식 및 학습의 모델을 정의하는 인식 모델 정의단계, (b)선택된 인식모델을 기반으로 시나리오 순서도를 작성 편집하는 인식 방법 순서도 작성단계, (c)선택되어진 알고리즘 모델들의 파라미터 설정을 구성하는 인식 알고리즘 파라미터 설정단계, (d)영상 및 콘텐츠 인식을 위한 시나리오 편집이 완료된 후 사용자는 인식을 위한 학습된 데이터 정보를 출력할 양식 및 차트를 설정하는 인식 출력 모델 설정단계, (e)영상 콘텐츠 인식을 위한 구성이 완료되었을 경우 인식을 시작하는 인식시작단계, (f)학습된 결과를 분석 결과 저장소(15)에 저장하는 인식 결과 저장단계 및 (g)상기 학습된 결과를 출력하는 인식결과 출력단계를 포함한다.
(a) a recognizing model defining step of defining a model of recognition and learning, (b) a recognition flowchart generation step of creating and editing a scenario flowchart based on the selected recognition model, (c) configuring parameter settings of the selected algorithm models (D) a recognition output model setting step of setting a form and a chart for outputting the learned data information for recognition after the scenario editing for the image and content recognition is completed, (e) (F) a recognition result storing step of storing the learned result in the analysis result storage 15 and (g) a recognition result output step of outputting the learned result, .

이때, 상기 (c)단계는 인식 알고리즘의 In/Output 파라미터 다이어로그를 실행하는 단계, 상기 다이어로그 실행에 따라 자동 완성 기능의 파라미터 옵션 정보를 입력하는 단계, 인식 알고리즘에 설정된 파라미터의 유효성을 확인하는 파라미터 유효성 검증 실행단계 및 인식 알고리즘에 설정된 파라미터의 정보를 저장하는 단계를 더 포함하여 구성된다.
At this time, the step (c) includes the steps of executing an In / Out parameter diagram of the recognition algorithm, inputting parameter option information of the auto-completion function according to the execution of the dialogue, checking the validity of parameters set in the recognition algorithm Parameter validation execution step and information of parameters set in the recognition algorithm.

또한, 상기 (a)단계는 영상 콘텐츠 인식을 위한 기초데이터를 선택하는 인식 모델 선택 단계를 포함하며, 상기 기초데이터는 이미지 및 영상 데이터베이스의 속성 및 특징으로 구성되는 모델이다.
In addition, the step (a) includes a recognition model selection step of selecting basic data for image content recognition, and the basic data is a model composed of attributes and characteristics of an image and an image database.

여기서, 상기 인식 모델 선택단계는 학습할 모델의 오브젝트를 불러오는 모델 오브젝트 불러오기단계, 불러온 모델의 카테고리를 설정하는 모델 카테고리 설정단계, 모델의 인식 범위를 설정하는 모델 데이터셋 범위지정단계, 상기 단계를 통한 모델의 정보를 저장하는 단계를 포함한다.
Here, the recognizing model selecting step may include a model object retrieving step of retrieving an object of a model to be learned, a model category setting step of setting a category of the loaded model, a model data set range designating step of setting a recognition range of the model, Lt; RTI ID = 0.0 > model < / RTI >

또한, 상기 (c)단계 이전에 순서도 작성을 위한 인식 알고리즘 모델을 선택하는 알고리즘 모델 선택단계를 더 포함한다.
The method further includes an algorithm model selection step of selecting a recognition algorithm model for creating a flowchart before the step (c).

이때, 상기 알고리즘 모델 선택단계는 알고리즘 데이터리스트를 다이어로그 실행시키는 단계, 상기 실행된 알고리즘 모듈을 선택하는 단계, 선택된 알고리즘 모듈에 알고리즘의 추가여부를 판단하는 알고리즘 추가단계, 편집기 UI를 통한 알고리즘 순서를 정의하는 단계 및 정의된 알고리즘의 정보를 저장하는 단계를 포함하여 구성된다.
In this case, the algorithm model selection step may include a step of performing an algorithm data list, a step of selecting the executed algorithm module, an algorithm adding step of determining whether an algorithm is added to the selected algorithm module, And storing the information of the defined algorithm and the defined algorithm.

또한, 상기 알고리즘 추가단계는 선택된 알고리즘 모듈에 추가적으로 알고리즘이 필요하면 이전 단계로 되돌아가고 추가적인 알고리즘이 필요가 없는 경우 다음단계로 넘어가게 된다.
In addition, the algorithm addition step returns to the previous step if an algorithm is required in addition to the selected algorithm module, and proceeds to the next step if no additional algorithm is needed.

또한, 상기 (d)단계 이전에 출력될 모델의 차트, 그래프, 출력 보고서를 선택하는 차트, 그래프, 출력 보고서 선택단계를 더 포함한다.
The method may further include a chart, a graph, and an output report selection step of selecting a chart, a graph, and an output report of the model to be output before the step (d).

도 6 내지 도 8은 본 발명의 일 실시예에 따른 딥러닝 프레임워크를 도시하기 위한 예시도이다.6 to 8 are illustrations for illustrating a deep learning framework according to an embodiment of the present invention.

도 6 내지 도 8을 참조하여 설명하면, 딥러닝에 필요한 프레임워크를 구축하고 각 알고리즘들의 훈련 및 결과 정보를 얻기 위해 개별적인 스크립트등으로 단일화 구조를 형성하며, 딥러닝 기술을 분석하고 그 기술을 모듈화하여 이종 모듈간 콘텐츠를 통합분석하는 시스템을 인터페이스를 통하여 가시화한 형태를 보여준다.
6 to 8, a framework for deep learning is constructed, a unified structure is formed by an individual script or the like to obtain training and result information of each algorithm, and a deep learning technique is analyzed and the technique is modularized And a system for integrated analysis of contents between different modules is visualized through an interface.

이에 따라서, 본 발명의 비주얼 콘텐츠 기반 영상 인식을 위한 딥러닝 프레임워크를 이용하면 데이터베이스 및 인식기에 대한 공통인터페이스를 구축하며, 수집한 데이터베이스 및 개발된 인식기들은 모듈화되어 인식기프레임워크에 의해 여러 가지 응용서비스에 적용여부를 단시간내에 결정할 수 있으며, 수집된 데이터베이스에 문제점을 분석할 수 있어 응용서비스의 성능을 높일 수 있는 효과가 있다.
Accordingly, by using the deep learning framework for visual content-based image recognition of the present invention, a common interface to the database and the recognizer is constructed, and the collected database and the developed recognizers are modularized, And it is possible to analyze the problem in the collected database, thereby enhancing the performance of the application service.

이와 같은 구성을 통해 본 발명의 비주얼 콘텐츠 기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법이 완성되는 것이다.
With this configuration, a deep learning framework and an image recognition method for visual content-based image recognition of the present invention are completed.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

1 : 통합GUI프레임워크 11 : 파라미터 속성 연동모듈
12 : 동적 호출 인터페이스 연동모듈
13 : 표준API 인터페이스 통합모듈
14 : One-pass 통합모듈 15 : 분석 결과 저장소(15)
2 : 콘텐츠 기반 딥러닝 분석도구 21 : 이미지 크롤러모듈
22 : 비주얼 속성 태깅모듈 23 : 파라미터 속성 추출모듈
24 : 속성 및 훈련 데이터셋 분석모듈
25 : 딥러닝 시나리오 자동화모듈1: Integrated GUI Framework 11: Parameter attribute interlocking module
12: Dynamic call interface interworking module
13: Standard API Interface Integration Module
14: One-pass integration module 15: Analysis result storage (15)
2: Content Based Deep Learning Analysis Tool 21: Image Crawler Module
22: Visual attribute tagging module 23: Parameter attribute extracting module
24: Attribute and Training Data Set Analysis Module
25: Deep Learning Scenario Automation Module

Claims (10)

딥러닝 기술을 모듈화하며, 각 모듈별 In/Out 파라미터 속성 추출 및 훈련 데이터셋 분석, 딥러닝 시나리오의 자동화하는 콘텐츠 기반 딥러닝 분석도구(2);를 탑재하며,
상기 콘텐츠 기반 딥러닝 분석도구(2)를 통한 모듈간 IN/OUT의 파라미터 속성을 연동시키는 파라미터 속성 연동모듈(11);과, 모듈간 연동이 가능한 동적 호출 인터페이스 연동모듈(12);과, 상기 모듈간의 표준API 인터페이스 통합모듈(13);과, 모듈의 태스킹 분석, 결과, 확인을 하나로 통합하는 One-pass 통합모듈(14); 및 딥러닝 분석도구(2)를 통한 분석 결과를 저장하는 분석 결과 저장소(15);를 포함하는 통합GUI프레임워크(1);로 구성된 것을 특징으로 하는 비주얼 콘텐츠 기반 영상 인식을 위한 딥러닝 프레임워크.
Deep learning technology is modularized, In / Out parameter attribute extraction and training data set analysis for each module, and content-based deep learning analysis tool (2) for automating deep learning scenarios.
A parameter attribute interlocking module 11 for interlocking parameter attributes of inter-module IN / OUT through the content-based deep learning analysis tool 2; a dynamic call interface interlocking module 12 capable of inter-module interlocking; A standard API interface integration module 13 between the modules, a One-pass integration module 14 for integrating the task analysis, results and confirmation of the module into one; And an analysis result storage (15) for storing analysis results through the deep learning analysis tool (2). The deep learning framework for visual recognition based on visual content .
제1항에 있어서,
상기 콘텐츠 기반 딥러닝 분석도구(2)는,
대규모 데이터베이스의 구축을 위한 이미지 크롤러모듈(21);과, 상기 이미지 크롤러모듈(21)과 연동하며 데이터베이스의 정보를 카테고리별로 비주얼 속성을 태깅하는 비주얼 속성 태깅모듈(22);과 모듈별 IN/OUT의 파라미터 속성값을 추출하는 파라미터 속성 추출모듈(23);과 모듈별 IN/OUT의 속성값 및 훈련 데이터셋을 분석하는 속성 및 훈련데이터셋 분석모듈(24);과 모듈을 통한 콘텐츠 학습에 대한 딥러닝 시나리오를 자동화시키는 딥러닝 시나리오 자동화모듈(25);을 포함하여 구성된 것을 특징으로 하는 비주얼 콘텐츠 기반 영상 인식을 위한 딥러닝 프레임워크.
The method according to claim 1,
The content-based deep-run analysis tool (2)
A visual attribute tagging module 22 for tagging visual attributes of the database information by category in cooperation with the image crawler module 21 and a visual attribute tagging module 22 for tagging IN / OUT An attribute and training data set analysis module 24 for analyzing the IN / OUT attribute values and the training data set for each module, Deep learning scenario automation module (25) for automating a deep learning scenario.
제1항에 있어서,
상기 통합GUI프레임워크(1)는 드래그앤드롭 방식의 인터페이스로 연동되며, 상기 인터페이스는 카테고리별, 모듈별 컴포넌트가 연동되는 것을 특징으로 하는 비주얼 콘텐츠 기반 영상 인식을 위한 딥러닝 프레임워크.
The method according to claim 1,
The integrated GUI framework (1) is interlocked with a drag-and-drop interface, and the interface is interlocked with a component by category and a module with a deep-learning framework for visual content-based image recognition.
비주얼 콘텐츠 기반의 영상 인식을 위한 딥러닝 프레임워크를 이용한 영상 인식 방법은,
(a)인식 및 학습의 모델을 정의하는 인식 모델 정의단계(S100);
(b)선택된 인식모델을 기반으로 시나리오 순서도를 작성 편집하는 인식 방법 순서도 작성단계(S110);
(c)선택되어진 알고리즘 모델들의 파라미터 설정을 구성하는 인식 알고리즘 파라미터 설정단계(S120);
(d)영상 및 콘텐츠 인식을 위한 시나리오 편집이 완료된 후 사용자는 인식을 위한 학습된 데이터 정보를 출력할 양식 및 차트를 설정하는 인식 출력 모델 설정단계(S130);
(e)영상 콘텐츠 인식을 위한 구성이 완료되었을 경우 인식을 시작하는 인식시작단계(S140);
(f)학습된 결과를 분석 결과 저장소(15)에 저장하는 인식 결과 저장단계(S150); 및 (g)상기 학습된 결과를 출력하는 인식결과 출력단계(S160);를 포함하여 구성된 것을 특징으로 하는 비주얼 콘텐츠 기반 영상 인식 방법.
A method for recognizing an image using a deep learning framework for visual content-
(a) a recognition model defining step (S100) for defining a model of recognition and learning;
(b) a recognition method flowchart generation step (S110) of creating and editing a scenario flowchart based on the selected recognition model;
(c) a recognition algorithm parameter setting step (S120) of configuring parameter settings of the selected algorithm models;
(d) a recognition output model setting step (S130) of setting a form and a chart for outputting the learned data information for recognition after the scenario editing for image and contents recognition is completed;
(e) a recognition start step (S140) of starting recognition when the configuration for recognizing the video contents is completed;
(f) a recognition result storing step (S150) of storing the learned result in the analysis result storage 15; And (g) a recognition result output step (S160) of outputting the learned result.
제4항에 있어서,
상기 (c)단계는, 인식 알고리즘의 In/Output 파라미터 다이어로그를 실행하는 단계(S121);
상기 다이어로그 실행에 따라 자동 완성 기능의 파라미터 옵션 정보를 입력하는 단계(S122);
인식 알고리즘에 설정된 파라미터의 유효성을 확인하는 파라미터 유효성 검증 실행단계(S123); 및 인식 알고리즘에 설정된 파라미터의 정보를 저장하는 단계(S124);를 더 포함하여 구성되는 것을 특징으로 하는 비주얼 콘텐츠 기반 영상 인식 방법.
5. The method of claim 4,
The step (c) includes: executing an In / Output parameter dialog of the recognition algorithm (S121);
A step (S122) of inputting parameter option information of the auto-complete function according to the execution of the dialogue;
A parameter validity verification execution step (S123) of verifying the validity of the parameter set in the recognition algorithm; And storing information of a parameter set in the recognition algorithm (S124).
제4항에 있어서,
상기 (a)단계는 영상 콘텐츠 인식을 위한 기초데이터를 선택하는 인식 모델 선택 단계(S200);를 포함하며, 상기 기초데이터는 이미지 및 영상 데이터베이스의 속성 및 특징으로 구성되는 것을 특징으로 하는 비주얼 콘텐츠 기반 영상 인식 방법.
5. The method of claim 4,
The method of claim 1, wherein the step (a) includes a step (S200) of selecting a basic data for recognizing image contents, and the basic data is composed of attributes and characteristics of an image and an image database Image recognition method.
제6항에 있어서,
상기 인식 모델 선택단계(S200)는 학습할 모델의 오브젝트를 불러오는 모델 오브젝트 불러오기단계(S201), 불러온 모델의 카테고리를 설정하는 모델 카테고리 설정단계(S202), 모델의 인식 범위를 설정하는 모델 데이터셋 범위지정단계(S203), 상기 단계를 통한 모델의 정보를 저장하는 단계(S204);를 포함하여 구성되는 것을 특징으로 하는 비주얼 콘텐츠 기반 영상 인식 방법.
The method according to claim 6,
The recognition model selection step S200 includes a model object retrieving step S201 for retrieving an object of a model to be learned, a model category setting step S202 for setting a category of the loaded model, model data A step S203 of setting a range, and a step S204 of storing information of a model through the step S203.
제4항에 있어서,
상기 (c)단계 이전에, 순서도 작성을 위한 인식 알고리즘 모델을 선택하는 알고리즘 모델 선택단계(S210);를 더 포함하여 구성되는 것을 특징으로 하는 비주얼 콘텐츠 기반 영상 인식 방법.
5. The method of claim 4,
Further comprising an algorithm model selection step (S210) for selecting a recognition algorithm model for creating a flowchart before the step (c).
제8항에 있어서,
상기 알고리즘 모델 선택단계(S210)는, 알고리즘 데이터리스트를 다이어로그 실행시키는 단계(S211); 상기 실행된 알고리즘 모듈을 선택하는 단계(S212); 선택된 알고리즘 모듈에 알고리즘의 추가여부를 판단하는 알고리즘 추가단계(S213); 편집기 UI를 통한 알고리즘 순서를 정의하는 단계(S214); 및 정의된 알고리즘의 정보를 저장하는 단계(S215);를 포함하여 구성되는 것을 특징으로 하는 비주얼 콘텐츠 기반 영상 인식 방법.
9. The method of claim 8,
The algorithm model selection step (S210) includes a step (S211) of executing an algorithm data list in a diagonal manner; Selecting the executed algorithm module (S212); An algorithm adding step (S213) of determining whether an algorithm is added to the selected algorithm module; Defining an algorithm order through an editor UI (S214); And a step (S215) of storing information of a defined algorithm.
제4항에 있어서,
상기 (d)단계 이전에 출력될 모델의 차트, 그래프, 출력 보고서를 선택하는 차트, 그래프, 출력 보고서 선택단계(S220)를 더 포함하여 구성되는 것을 특징으로 하는 비주얼 콘텐츠 기반 영상 인식 방법.5. The method of claim 4,
Further comprising a chart, a graph, and an output report selection step (S220) for selecting a chart, a graph, and an output report of the model to be output before the step (d).
KR1020150052306A 2015-04-14 2015-04-14 Deep learnig framework and image recognition method for content-based visual image recognition KR101719278B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150052306A KR101719278B1 (en) 2015-04-14 2015-04-14 Deep learnig framework and image recognition method for content-based visual image recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150052306A KR101719278B1 (en) 2015-04-14 2015-04-14 Deep learnig framework and image recognition method for content-based visual image recognition

Publications (2)

Publication Number Publication Date
KR20160122452A KR20160122452A (en) 2016-10-24
KR101719278B1 true KR101719278B1 (en) 2017-04-04

Family

ID=57256943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150052306A KR101719278B1 (en) 2015-04-14 2015-04-14 Deep learnig framework and image recognition method for content-based visual image recognition

Country Status (1)

Country Link
KR (1) KR101719278B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102094027B1 (en) * 2018-10-02 2020-03-26 (주)인스웨이브시스템즈 Web standard UI source transformation device and method using deep learning

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101930400B1 (en) * 2017-01-31 2018-12-18 (주)한국플랫폼서비스기술 Method of providing contents using modular system for deep learning
KR102061408B1 (en) 2017-03-24 2019-12-31 (주)제이엘케이인스펙션 Apparatus and method for analyzing images using semi 3d deep neural network
KR101982203B1 (en) 2017-08-28 2019-05-24 에스케이텔레콤 주식회사 Terminal device, server and system for image recognition capable of protecting personal information
KR102055359B1 (en) 2017-10-24 2019-12-12 에스케이텔레콤 주식회사 Apparatus and method for generating and using neural network model applying accelerated computation
KR102499203B1 (en) 2017-11-06 2023-02-13 삼성전자 주식회사 Electronic device and method for reliability-based ojbect recognition
KR102095335B1 (en) 2017-11-15 2020-03-31 에스케이텔레콤 주식회사 Apparatus and method for generating and using neural network model applying accelerated computation
KR102227906B1 (en) * 2017-12-29 2021-03-16 주식회사 아임클라우드 Model learning system and method by automatic learning and data generation
KR102065672B1 (en) 2018-03-27 2020-01-13 에스케이텔레콤 주식회사 Apparatus and method for convolution operation
CN110555340B (en) * 2018-05-31 2022-10-18 赛灵思电子科技(北京)有限公司 Neural network computing method and system and corresponding dual neural network implementation
KR102102405B1 (en) 2018-06-08 2020-04-20 부산대학교 산학협력단 System and Method for Recognitioning Image Pattern using Machine Learning
KR102179598B1 (en) * 2018-06-27 2020-11-18 한국전력공사 Apparatus and method for learning facilities using video file
KR102379637B1 (en) * 2019-11-12 2022-03-30 이지스로직 주식회사 Deep learning artificial Neural Network based image recognition method and system
KR102227437B1 (en) 2020-03-12 2021-03-12 에스케이텔레콤 주식회사 Apparatus and method for generating and using neural network model applying accelerated computation
CN111382802A (en) * 2020-03-17 2020-07-07 桂林理工大学 Dangerous rock stability discrimination method and device based on main control structural surface parameter identification
CN111797294A (en) * 2020-07-09 2020-10-20 上海商汤智能科技有限公司 Visualization method and related equipment
KR102632607B1 (en) * 2020-10-22 2024-02-02 주식회사 마음에이아이 Method for service building

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101254181B1 (en) 2012-12-13 2013-04-19 위아코퍼레이션 주식회사 Face recognition method using data processing technologies based on hybrid approach and radial basis function neural networks

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100070952A (en) * 2008-12-18 2010-06-28 조선대학교산학협력단 Multimedia content management system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101254181B1 (en) 2012-12-13 2013-04-19 위아코퍼레이션 주식회사 Face recognition method using data processing technologies based on hybrid approach and radial basis function neural networks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102094027B1 (en) * 2018-10-02 2020-03-26 (주)인스웨이브시스템즈 Web standard UI source transformation device and method using deep learning

Also Published As

Publication number Publication date
KR20160122452A (en) 2016-10-24

Similar Documents

Publication Publication Date Title
KR101719278B1 (en) Deep learnig framework and image recognition method for content-based visual image recognition
KR101657495B1 (en) Image recognition method using deep learning analysis modular systems
CN110147726B (en) Service quality inspection method and device, storage medium and electronic device
US10831456B1 (en) External code integrations within a computing environment
CN110148400B (en) Pronunciation type recognition method, model training method, device and equipment
EP3319081A1 (en) On-board voice command identification method and apparatus, and storage medium
US20170228309A1 (en) System and method for equivalence class analysis-based automated requirements-based test case generation
US20200401503A1 (en) System and Method for Testing Artificial Intelligence Systems
CN102609406B (en) Learning device, judgment means, learning method and determination methods
CN112966106A (en) Text emotion recognition method, device and equipment and storage medium
CN111160606A (en) Test question difficulty prediction method and related device
CN116663530B (en) Data generation method, device, electronic equipment and storage medium
CN109445306B (en) Automatic associated parameter interpretation method and system based on rule configuration analysis
CN110221978A (en) Method for generating test case and device
CN113377962B (en) Intelligent process simulation method based on image recognition and natural language processing
CN113837167A (en) Text image recognition method, device, equipment and storage medium
CN113672509A (en) Automatic testing method, device, testing platform and storage medium
CN116842128B (en) Text relation extraction method and device, computer equipment and storage medium
KR102507810B1 (en) Voice-based sales information extraction and lead recommendation method using artificial intelligence, and data analysis apparatus therefor
KR20150027426A (en) Apparatus and Method for Verifying Scripts Automatically
CN111143189A (en) Method and apparatus for application program interface API testing
CN115049899B (en) Model training method, reference expression generation method and related equipment
US20230281482A1 (en) Systems and methods for rule-based machine learning model promotion
CN115795058B (en) Threat modeling method, threat modeling system, electronic equipment and storage medium
EP4131010A1 (en) Method and system for performing human machine interface (hmi) automation testing

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200122

Year of fee payment: 4