KR101930400B1 - 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법 - Google Patents

딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법 Download PDF

Info

Publication number
KR101930400B1
KR101930400B1 KR1020170013832A KR20170013832A KR101930400B1 KR 101930400 B1 KR101930400 B1 KR 101930400B1 KR 1020170013832 A KR1020170013832 A KR 1020170013832A KR 20170013832 A KR20170013832 A KR 20170013832A KR 101930400 B1 KR101930400 B1 KR 101930400B1
Authority
KR
South Korea
Prior art keywords
data
image
character
raw data
image object
Prior art date
Application number
KR1020170013832A
Other languages
English (en)
Other versions
KR20180089132A (ko
Inventor
이준혁
백승복
Original Assignee
(주)한국플랫폼서비스기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)한국플랫폼서비스기술 filed Critical (주)한국플랫폼서비스기술
Priority to PCT/KR2017/001030 priority Critical patent/WO2018143486A1/ko
Priority to KR1020170013832A priority patent/KR101930400B1/ko
Publication of KR20180089132A publication Critical patent/KR20180089132A/ko
Application granted granted Critical
Publication of KR101930400B1 publication Critical patent/KR101930400B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Abstract

본 발명은 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법에 대한 것으로, 딥러닝 분석 기법을 활용하여, 입력된 영상 및 비영상 자료의 분석을 통하여 컨텐츠를 제공하는 방법에 대한 것이다.
이를 위해, 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법은 표준 API인터페이스부(11), 이미지 객체DB(12), 딥러닝 알고리즘 모듈(13), 훈련 데이터셋 저장소(14) 및 응용 서비스DB(15)로 구성되는 딥러닝 분석을 위한 모듈화시스템을 이용하여, 원시데이터 입력 단계(S10), 원시데이터 판독 단계(S20), 판독된 데이터에 따른 처리 모듈 판단 단계(S30), 처리 모듈 적용 단계(S40), 데이터 처리단계(S50) 및 컨텐츠 생성 단계(S60)로 구성된다.

Description

딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법{METHOD OF PROVIDING CONTENTS USING MODULAR SYSTEM FOR DEEP LEARNING}
본 발명은 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법에 대한 것으로, 딥러닝 분석 기법을 활용하여, 입력된 영상 및 비영상 자료의 분석을 통하여 컨텐츠를 제공하는 방법에 대한 것이다.
일반적으로 딥러닝(Deep learning) 기술은 여러 비선형 변환기법의 조합을 통해 대상물인 영상 또는 비영상을 높은 수준의 추상화를 시도하는 기계학습 알고리즘의 집합으로 알려져 있으며, 이와 같은 딥러닝 기법을 이용하여 영상 또는 비영상의 데이터를 분석하여 이에 대한 통계 자료 등을 제공하는 기술을 말하는 것으로 다양한 분야에서 활용되고 있다.
그 중 대표적인 것으로, 문헌 및 인쇄물 등에 대한 인식과 함께 인식된 자료의 보정을 통하여 원본에 가까운 자료를 복원하는 기술에 많이 적용되게 된다.
또는 영상자료의 분석을 통하여, 영상 자료에 포함되는 특정 대상물의 인식과 관련된 기술에도 적용되고 있다.
그러나, 이러한 딥러닝 기술의 경우 그 구현을 위해 많은 시행착오 및 반복작업을 통한 학습이 수반되기 때문에 대용량의 데이터가 발생되거나 비숙련자인 일반인의 경우에 접근이 어려운 문제가 있었다.
이에 따라, 본 출원인은 대한민국 등록특허 제10-1657495호(딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법, 이하 '선행기술'이라 함)을 제안하였으며, 이와 같은 선행기술을 통하여 보다 수준높은 영상 인식 방법을 제공하게 되었다.
그러나, 사회가 발전하고 수요자의 다양한 요구에 따라, 영상 뿐만 아니라 비영상의 대상객체에 대한 인식방법 및 이와 같은 자료를 활용하여 다양한 컨텐츠를 제공하고자 하는 요구가 많아지고 있는 실정이다.
상기와 같은 사회적인 요구에 따라 딥러닝 분석을 위한 모듈화 시스템을 이용하여, 영상 및 비영상에 대한 대상객체에 대한 인식 방법 및 이를 활용하여 수요자의 요구에 따른 다양한 컨텐츠를 제공하고자 하는 것을 본 발명의 목적으로 한다.
본 발명의 또다른 목적은 수요자의 요구에 따라 다양한 형태의 컨텐츠를 용이하게 제작할 수 있도록 하는 모듈화 시스템을 이용한 컨텐츠 제공방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위해 표준 API인터페이스부(11), 이미지 객체DB(12), 딥러닝 알고리즘 모듈(13), 훈련 데이터셋 저장소(14) 및 응용 서비스DB(15)로 구성되는 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공방법은 처리를 위한 데이터를 입력받는 과정으로, 영상 및 비영상의 원시 데이터를 입력받게 되는 원시데이터 입력 단계(S10); 앞선 단계(S10)에서 입력받은 원시데이터의 종류를 판독하는 원시데이터 판독 단계(S20); 상기 단계(S20)에서 판독된 원시데이터인 이미지 객체 데이터의 종류에 따라 처리 모듈을 판단하는 판독된 데이터에 따른 처리 모듈 판단 단계(S30); 앞선 단계(S30)에서 원시데이터에 따른 처리모듈이 판단되어 선택되면, 선택된 처리 모듈을 적용하는 처리 모듈 적용 단계(S40); 앞선 단계(S40)에서 딥러닝 알고리즘을 적용한 후 알고리즘에 따라 원시데이터별로 영상 및 비영상에 포함되는 특정 대상물인 캐릭터의 특징을 데이터로 생성하는 데이터 처리단계(S50); 및 상기 단계(S50)에서 캐릭터별 데이터베이스화를 통하여 원시데이터인 이미지 객체 별로 처리된 데이터를 기반으로 하여 컨텐츠를 생성하는 컨텐츠 생성 단계(S60)로 구성되는 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공방법을 제공하게 된다.
또한, 상기 원시데이터 입력 단계(S10)는 표준 API 인터페이스(11)를 통하여 원시데이터를 이미지 객체 모듈상태로 저장하여 이미지 객체 데이터베이스(12)를 생성하게 되는 것으로, 상기 이미지 객체 데이터베이스(12)에 저장되는 이미지 객체 데이터는 영상 및 비영상의 원시 데이터를 이미지 객체로 인식하고 이를 각 카테고리별로 모듈화 하여 저장하게 되고, 상기 원시데이터 판독 단계(S20)는 이미지 객체 데이터베이스(12)에 저장된 원시데이터인 이미지 객체를 반복작업을 통해 이미지 객체를 인식하되, 딥러닝 알고리즘을 모듈화하여 저장되는 딥러닝 알고리즘 모듈 데이터베이스(13)를 통하여 원시데이터인 이미지 객체를 영상 또는 비영상의 종류를 판독하기 위한 것으로 원시데이터의 프레임별 연속성에 대한 판단을 통하여 영상 또는 비영상으로 원시데이터의 종류를 구분하게 된다.
또한, 상기아 같은 원시데이터가 비영상이 아닐 경우 1차적으로 영상으로 인식한 후, 딥러닝을 통하여 1차로 영상으로 인식된 원시데이터의 화상 특징을 파악한 후 연속적인 프레임인지에 대한 2차 판독을 통하여 데이터의 신뢰성을 확보하게 되며, 상기 처리 모듈 적용 단계(S40)에서 딥러닝 기법을 적용하기 위한 처리 모듈은 딥러닝 알고리즘에 대한 모듈을 구축하기 위해, 심층 신경망(deep neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network) 등과 같은 하나 이상의 딥러닝 알고리즘을 모듈화 하여 이를 적용하게 된다.
또한, 상기 데이터 처리단계(S50)는 각 데이터별로 영상 및 비영상에 포함되는 특정 대상물인 캐릭터 파악(S510), 파악된 캐릭터를 구별하기 위하여 캐릭터 별로 인식표시인 ID를 부여하는 캐릭터 지정(S520), 지정된 캐릭터의 프레임상의 위치 및 시간, 이동궤적 등의 특징을 데이터로 생성하는 캐릭터별 데이터 생성(S530) 및 생성된 캐릭터별 데이터를 데이터베이스화 하는 데이터베이스화(S540)로 구성되고, 상기 캐릭터별 데이터에는 캐릭터의 ID, 프레임상의 위치, 시간, 이동궤적을 하나의 객체로 하여 캐릭터별로 데이터 베이스화 하게 되며, 생성된 캐릭터별 데이터베이스는 이미지 객체 데이터베이스(12)에 추가로 저장되어, 각각의 카테고리별 이미지 객체에 포함되는 캐릭터별 데이터를 추가로 포함하게 된다.
또한, 상기 컨텐츠 생성 단계(S60)는 S50단계에서 캐릭터별 데이터베이스화를 통하여 원시데이터인 이미지 객체 별로 처리된 데이터를 기반으로 하여, 영상 또는 비영상의 캐릭터 및 프레임별 맵핑, 캐릭터별 특징을 데이터화 한 캐릭터별 데이터를 기반으로 하여 시눕시스, 스토리 텔링 및 각각의 캐릭터별 영상 또는 비영상에 포함되고 표현된 디자인 또는 연속 동작인 영상을 추출하여 제공할 수 있도록 하며, 상기 컨텐츠 생성 단계(S80)는 사용자에게 디스플레이 모듈을 더 제공하여 컨텐츠 생성을 용이하게 할 수 있도록 한다.
또한, 상기 디스플레이 모듈은 드래그 앤 드롭 방식을 적용하여 디스플레이창에 사용자가 필요한 기능을 드래그 하여 적용할 수 있도록 하는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법을 제공함으로써 본 발명의 목적을 보다 잘 달성할 수 있도록 한다.
본 발명을 제공함으로써, 영상 및 비영상의 다양한 객체를 보다 용이하게 인식할 수 있도록 하며, 이에 따른 결과물을 활용하여 수요자에게 다양한 컨텐츠를 제공하는 효과가 있다.
도 1은 본 발명에 적용되는 시스템의 구성도이다.
도 2는 본 발명의 순서도이다.
도 3은 본 발명에 따른 데이타 처리단계(S50)의 세부구성도이다.
도 4는 본 발명에 따른 실시예를 도시한 예시도이다.
이하에서 본 발명의 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법을 당업자가 용이하게 실시할 수 있도록 도면을 참조하여 상세하게 설명하도록 한다.
도 1은 도 1은 본 발명에 적용되는 시스템의 구성도이고, 도 2는 본 발명의 순서도이며, 도 3은 본 발명에 따른 데이타 처리단계(S50)의 세부구성도이다.
도 1 내지 도 3을 참조하여 상세하게 설명하면, 본 발명의 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법은 모듈간의 연결을 위한 표준 논리 회로와 입출력 채널을 포함하는 표준 API 인터페이스(11)와 상기 표준 API 인터페이스(11)를 통해 이미지 객체 모듈을 송신 및 수신하고 각 카테고리별로 이미지 객체 데이터를 모듈상태로 저장하는 이미지 객체 데이터베이스(12)와 상기 이미지 객체 데이터베이스(12)에 저장된 이미지 객체를 반복작업을 통해 이미지 객체 인식 응용서비스를 구현하기 위한 딥러닝 알고리즘을 모듈화하여 저장되는 딥러닝 알고리즘 모듈 데이터베이스(13)와 상기 이미지 객체 데이터를 딥러닝 알고리즘에 입력하는 반복적인 작업을 통해 출력된 결과값을 통계하여 훈련데이터를 저장하는 훈련된 데이터셋 저장소(14) 및 상기 훈련된 데이터셋 저장소(14)의 데이터를 통합구축하여 프로그래밍 된 응용서비스를 저장하는 응용서비스 데이터베이스(15)를 포함하여 구성되는 대한민국 등록특허 제10-1657495호의 딥러닝 분석을 위한 모듈화시스템(10)을 이용하여, 원시데이터 입력 단계(S10), 원시데이터 판독 단계(S20), 판독된 데이터에 따른 처리 모듈 판단 단계(S30), 처리 모듈 적용 단계(S40), 데이터 처리단계(S50) 및 컨텐츠 생성 단계(S60)로 구성된다.
상기 원시데이터 입력 단계(S10)는 처리를 위한 데이터를 입력받는 과정으로, 영상 및 비영상의 원시 데이터를 입력받게 되는 것이다.
이때, 상기 표준 API 인터페이스(11)를 통하여 원시데이터를 이미지 객체 모듈상태로 저장하여 이미지 객체 데이터베이스(12)를 생성하게 된다.
여기서 상기 이미지 객체 데이터베이스(12)에 저장되는 이미지 객체 데이터는 영상 및 비영상의 원시 데이터를 이미지 객체로 인식하고 이를 각 카테고리별로 모듈화 하여 저장하게 된다.
상기 단계(S10) 후 원시데이터 판독 단계(S20)는 앞선 단계(S10)에서 입력받은 원시데이터의 종류를 판독하는 것으로 이미지 객체 데이터베이스(12)에 저장된 원시데이터인 이미지 객체를 반복작업을 통해 이미지 객체를 인식하게 된다.
이때, 딥러닝 알고리즘을 모듈화하여 저장되는 딥러닝 알고리즘 모듈 데이터베이스(13) 통하여 원시데이터인 이미지 객체를 영상 또는 비영상의 종류를 판독하기 위한 것으로 원시데이터의 프레임별 연속성에 대한 판단을 통하여 영상 또는 비영상으로 원시데이터의 종류를 구분하게 된다.
여기서 판독을 위한 프레임이 비영상일 경우 프레임이 연속되지 않기 때문에 원시데이터가 비영상임을 인식하게 되고, 원시데이터가 상기와 같은 비영상이 아닐 경우 1차적으로 영상으로 인식한 후, 딥러닝을 통하여 1차로 영상으로 인식된 원시데이터의 화상 특징을 파악한 후 연속적인 프레임인지에 대한 2차 판독을 통하여 데이터의 신뢰성을 확보하게 된다.
여기서 화상 특징은 캐릭터 및 프레임상의 색상 및 음영 등을 말하는 것이다.
이는 비영상인 사진 등의 원시데이터를 연속으로 배치한 경우 이를 영상으로 오인할 수 있는 문제점을 극복하기 위한 것이다.
보다 상세하게 설명하면, 원시데이터 중 1차적으로 영상으로 인식된 데이터 중 1개의 프레임에 포함되어 있는 캐릭터 및 프레임상의 색상 및 음영 등을 파악한 후 연속되는 프레임에서의 캐릭터 및 프레임상의 색상 및 음영 등의 연속성을 파악하여 영상 여부에 대한 2차 판독이 가능한 것이다.
이와 같은 방법에 의해 영상과 비영상의 판독이 가능한 것이며, 영상에 대한 신뢰성을 확보하기 위해 2번의 판독과정을 거치게 되는 것이다.
이때, 상기 이미지 객체 데이터를 딥러닝 알고리즘에 입력하는 반복작업을 통해 결과값을 출력하여 상기 이미지 객체 데이터인 원시데이터의 종류를 판독하게 되는 것이다.
또한, 이러한 결과값을 통계하여 훈련데이터를 저장하는 훈련데이터셋 저장소(14)에 그 결과값에 대한 통계값 즉 훈련데이터를 획득함으로써, 또다른 원시데이터인 이미지 객체 데이터의 입력시 훈련데이터와의 비교를 통하여 그 신뢰성을 향상시키게 되는 것이다.
판독된 데이터에 따른 처리 모듈 판단 단계(S30)는 상기 단계(S20)에서 판독된 원시데이터인 이미지 객체 데이터의 종류에 따라 처리 모듈을 판단하는 것으로, 보다 상세하게 설명하면, 판독된 원시데이터가 영상 또는 비영상의 종류에 따라 적용될 처리 모듈의 종류를 판단하는 것이다.
영상의 경우 프레임의 연속성으로 인하여 많은 양의 데이터를 처리해야 하기 때문에, 이에 따라 빅데이터를 처리할 수 있는 모듈을 적용해야 하고, 비영상의 경우 영상에 대한 왜곡에 대한 보정 또는 손실된 정보에 대한 복원 등의 방법을 적용할 수 있는 모듈을 적용하게 되는 것이다.
이때, 상기 훈련데이터셋 저장소(14) 및 상기 훈련된 데이터셋 저장소(14)의 데이터를 통합구축하여 프로그래밍된 응용서비스를 저장하는 응용서비스 데이터베이스(15)에 저장된 처리 모듈을 이용하여 원시데이터인 이미지 객체 데이터의 종류에 따라 처리 모듈을 적용하는 처리 모듈 적용 단계(S40)를 거치게 된다.
여기서, 처리 모듈 적용 단계(S40)는 앞선 단계(S30)에서 원시데이터에 따른 처리모듈이 판단되어 선택되면, 선택된 처리 모듈을 적용하게 된다.
이때, 상기 처리 모듈은 원시데이터인 이미지 객체 데이터에 따라 선택된 모듈을 적용하게 되는 것으로, 오픈소스를 이용한 모듈을 적용하게 된다.
보다 상세하게 설명하면, 딥러닝 기법을 적용하기 위한 처리 모듈은 딥러닝 알고리즘에 대한 모듈을 구축하기 위해, 심층 신경망(deep neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network) 등과 같은 하나 이상의 딥러닝 알고리즘을 모듈화 하여 이를 적용하게 된다.
이는 원시데이터의 특성에 따라 상기와 같은 딥러닝 알고리즘 중 최적화된 알고리즘을 적용하기 위한 것이다.
여기서, 상기와 같은 알고리즘 모듈의 경우, 사용자가 영상 및 비영상에 따른 최적화 모듈에 대하여, 심층 신경망(deep neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network) 중 단독 또는 복합적으로 적용되도록 입력한 기준을 따라 적용하게 되는 것이다.
예를 들어, 원시데이터가 비영상인 것으로 판단되고, 비영상에 포함된 사물이 주요 대상일 경우 앞선 알고리즘 중 단독으로 적용하게 되는 것이고, 만약 사물과 색상 및 음영 등의 부가적인 정보까지 처리할 경우 알고리즘을 복합적으로 적용하게 되는 것이다.
데이터 처리단계(S50)는 앞선 단계(S40)에서 딥러닝 알고리즘을 적용한 후 알고리즘에 따라 원시데이터인 이미지 객체 데이터를 처리하는 것으로 각 데이터별로 영상 및 비영상에 포함되는 특정 대상물인 캐릭터 파악(S510), 파악된 캐릭터를 구별하기 위하여 캐릭터 별로 인식표시인 ID를 부여하는 캐릭터 지정(S520), 지정된 캐릭터의 프레임상의 위치 및 시간, 이동궤적 등의 특징을 데이터로 생성하는 캐릭터별 데이터 생성(S530) 및 생성된 캐릭터별 데이터를 데이터베이스화 하는 데이터베이스화(S540)로 구성된다.
상기와 같은 캐릭터별 데이터에는 캐릭터의 ID, 프레임상의 위치, 시간, 이동궤적을 하나의 객체로 하여 캐릭터별로 데이터 베이스화 하게 되는 것이다.
이와 같이 생성된 캐릭터별 데이터베이스는 이미지 객체 데이터베이스(12)에 추가로 저장되어, 각각의 카테고리별 이미지 객체에 포함되는 캐릭터별 데이터를 추가로 포함하게 된다.
상기 단계(S50)에서 캐릭터별 데이터베이스화를 통하여 원시데이터인 이미지 객체 별로 처리된 데이터를 기반으로 하여, 영상 또는 비영상의 캐릭터 및 프레임별 맵핑, 캐릭터별 특징을 데이터화 한 캐릭터별 데이터를 기반으로 하여 시눕시스, 스토리 텔링 및 각각의 캐릭터별 영상 또는 비영상에 포함되고 표현된 디자인 또는 연속 동작인 영상 등을 추출하여 제공할 수 있도록 하는 컨텐츠 생성 단계(S60)을 거치게 된다.
이때, 상기 컨텐츠 생성 단계(S80) 사용자에게 디스플레이 모듈(미도시)을 제공하여 컨텐츠 생성을 용이하게 할 수 있도록 하는데, 드래그 앤 드롭 방식을 적용하여 디스플레이창에 사용자가 필요한 기능을 드래그 하여 적용할 수 있도록 한다.
예를 들어, 캐릭터별 시눕시스를 작성할 경우 디스플레이창에 캐릭터 중 이야기의 중심이 되는 캐릭터를 가운데 배치하고, 상기 중심이 되는 캐릭터와 주변 캐릭터간의 알고리즘 형태의 관계도를 설정하여 이야기의 흐름을 선택할 수 있도록 하는 것이다.(도 4 참조)
이와 같이 중심이 되는 캐릭터와 주변 캐릭터간의 관계가 설정되면, 영상 또는 비영상의 흐름에 따라 캐릭터의 이동궤적, 형태적인 특성 등에 따라 문자화하여 시눕시스에 부가적으로 표현되기도 하는 것이다.
이는 컨텐츠 생성 단계(S60)에서 제공될 수 있는 맵핑, 스토리텔링과 같이 캐릭터별 연관 관계가 성립되는 경우에 적용될 수 있으며, 이와 같은 컨텐츠에 한정하는 것은 아니며, 다양한 유사 형태의 컨텐츠에 적용될 수 있음을 밝혀 둔다.
이와 같은 일련의 방법을 통하여 맵핑, 시눕시스, 스토리 텔링 및 캐릭터별 디자인 또는 연속 동장인 영상과 같은 컨텐츠를 제공하게 되는 것이며, 이외의 다양한 컨텐츠를 제공할 수 있는 것이다.
10 : 모듈화 시스템 11 : 표준 API 인터페이스
12 : 이미지 객체 DB 13 : 딥러닝 알고리즘 모듈 DB
14 : 훈련된 데이터셋 저장소 15 : 응용서비스 DB
S10 : 원시데이터 입력 단계
S20 : 원시데이터 판독 단계
S30 : 판독된 데이터에 따른 처리 모듈 판단 단계
S40 : 처리 모듈 적용 단계
S50 : 데이터 처리 단계
S60 : 컨텐츠 생성 단계

Claims (10)

  1. 표준 API인터페이스부(11), 이미지 객체DB(12), 딥러닝 알고리즘 모듈(13), 훈련 데이터셋 저장소(14) 및 응용 서비스DB(15)로 구성되는 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공방법은
    처리를 위한 데이터를 입력받는 과정으로, 영상 및 비영상의 원시 데이터를 입력받게 되는 원시데이터 입력 단계(S10);
    앞선 단계(S10)에서 입력받은 원시데이터의 종류를 판독하는 원시데이터 판독 단계(S20);
    상기 단계(S20)에서 판독된 원시데이터인 이미지 객체 데이터의 종류에 따라 처리 모듈을 판단하는 판독된 데이터에 따른 처리 모듈 판단 단계(S30);
    앞선 단계(S30)에서 원시데이터에 따른 처리모듈이 판단되어 선택되면, 선택된 처리 모듈을 적용하는 처리 모듈 적용 단계(S40);
    앞선 단계(S40)에서 딥러닝 알고리즘을 적용한 후 알고리즘에 따라 원시데이터별로 영상 및 비영상에 포함되는 특정 대상물인 캐릭터의 특징을 데이터로 생성하는 데이터 처리단계(S50); 및
    상기 단계(S50)에서 캐릭터별 데이터베이스화를 통하여 원시데이터인 이미지 객체 별로 처리된 데이터를 기반으로 하여 컨텐츠를 생성하는 컨텐츠 생성 단계(S60)로 구성되되, 상기 데이터 처리단계(S50)는 각 데이터별로 영상 및 비영상에 포함되는 특정 대상물인 캐릭터 파악(S510), 파악된 캐릭터를 구별하기 위하여 캐릭터 별로 인식표시인 ID를 부여하는 캐릭터 지정(S520), 지정된 캐릭터의 프레임상의 위치 및 시간, 이동궤적 등의 특징을 데이터로 생성하는 캐릭터별 데이터 생성(S530) 및 생성된 캐릭터별 데이터를 데이터베이스화하는 데이터베이스화(S540)로 구성되는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
  2. 제 1항에 있어서,
    원시데이터 입력 단계(S10)는 표준 API 인터페이스(11)를 통하여 원시데이터를 이미지 객체 모듈상태로 저장하여 이미지 객체 데이터베이스(12)를 생성하게 되는 것으로, 상기 이미지 객체 데이터베이스(12)에 저장되는 이미지 객체 데이터는 영상 및 비영상의 원시 데이터를 이미지 객체로 인식하고 이를 각 카테고리별로 모듈화 하여 저장하게 되는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공방법.
  3. 제 2항에 있어서,
    상기 원시데이터 판독 단계(S20)는 이미지 객체 데이터베이스(12)에 저장된 원시데이터인 이미지 객체를 반복작업을 통해 이미지 객체를 인식하되, 딥러닝 알고리즘을 모듈화하여 저장되는 딥러닝 알고리즘 모듈 데이터베이스(13)를 통하여 원시데이터인 이미지 객체를 영상 또는 비영상의 종류를 판독하기 위한 것으로 원시데이터의 프레임별 연속성에 대한 판단을 통하여 영상 또는 비영상으로 원시데이터의 종류를 구분하게 되는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
  4. 제 3항에 있어서,
    원시데이터가 비영상이 아닐 경우 1차적으로 영상으로 인식한 후, 딥러닝을 통하여 1차로 영상으로 인식된 원시데이터의 화상 특징을 파악한 후 연속적인 프레임인지에 대한 2차 판독을 통하여 데이터의 신뢰성을 확보하는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
  5. 제 1항에 있어서,
    상기 처리 모듈 적용 단계(S40)에서 딥러닝 기법을 적용하기 위한 처리 모듈은 딥러닝 알고리즘에 대한 모듈을 구축하기 위해, 심층 신경망(deep neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network) 등과 같은 하나 이상의 딥러닝 알고리즘을 모듈화 하여 이를 적용하는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
  6. 삭제
  7. 제 1항에 있어서,
    상기 캐릭터별 데이터에는 캐릭터의 ID, 프레임상의 위치, 시간, 이동궤적을 하나의 객체로 하여 캐릭터별로 데이터 베이스화 하게 되며, 생성된 캐릭터별 데이터베이스는 이미지 객체 데이터베이스(12)에 추가로 저장되어, 각각의 카테고리별 이미지 객체에 포함되는 캐릭터별 데이터를 추가로 포함하게 되는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
  8. 제 7항에 있어서,
    상기 컨텐츠 생성 단계(S60)는 S50단계에서 캐릭터별 데이터베이스화를 통하여 원시데이터인 이미지 객체 별로 처리된 데이터를 기반으로 하여, 영상 또는 비영상의 캐릭터 및 프레임별 맵핑, 캐릭터별 특징을 데이터화 한 캐릭터별 데이터를 기반으로 하여 시눕시스, 스토리 텔링 및 각각의 캐릭터별 영상 또는 비영상에 포함되고 표현된 디자인 또는 연속 동작인 영상을 추출하여 제공할 수 있도록 하는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
  9. 제 8항에 있어서,
    상기 컨텐츠 생성 단계(S80)는 사용자에게 디스플레이 모듈을 더 제공하여 컨텐츠 생성을 용이하게 할 수 있도록 하는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
  10. 제 9항에 있어서,
    상기 디스플레이 모듈은 드래그 앤 드롭 방식을 적용하여 디스플레이창에 사용자가 필요한 기능을 드래그 하여 적용할 수 있도록 하는 것을 특징으로 하는 딥러닝 분석을 위한 모듈화 시스템을 이용한 컨텐츠 제공방법.
KR1020170013832A 2017-01-31 2017-01-31 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법 KR101930400B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2017/001030 WO2018143486A1 (ko) 2017-01-31 2017-01-31 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법
KR1020170013832A KR101930400B1 (ko) 2017-01-31 2017-01-31 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170013832A KR101930400B1 (ko) 2017-01-31 2017-01-31 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법

Publications (2)

Publication Number Publication Date
KR20180089132A KR20180089132A (ko) 2018-08-08
KR101930400B1 true KR101930400B1 (ko) 2018-12-18

Family

ID=63040238

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170013832A KR101930400B1 (ko) 2017-01-31 2017-01-31 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법

Country Status (2)

Country Link
KR (1) KR101930400B1 (ko)
WO (1) WO2018143486A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645509B2 (en) * 2018-09-27 2023-05-09 Salesforce.Com, Inc. Continual neural network learning via explicit structure learning
KR102206843B1 (ko) * 2018-12-05 2021-01-25 서울대학교산학협력단 딥러닝 네트워크를 이용하여 복수의 이미지들로부터 이야기를 생성하기 위한 방법 및 장치
CN109934106A (zh) * 2019-01-30 2019-06-25 长视科技股份有限公司 一种基于视频图像深度学习的用户行为分析方法
CN110418210B (zh) * 2019-07-12 2021-09-10 东南大学 一种基于双向循环神经网络和深度输出的视频描述生成方法
KR20210041856A (ko) 2019-10-08 2021-04-16 한국전자통신연구원 딥 러닝 기반으로 애니메이션 캐릭터를 학습하는 데 필요한 학습 데이터 생성 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254510A1 (en) 2014-02-28 2015-09-10 Nant Vision, Inc. Object recognition trait analysis systems and methods
US20150279054A1 (en) 2014-03-26 2015-10-01 Canon Kabushiki Kaisha Image retrieval apparatus and image retrieval method
KR101657495B1 (ko) * 2015-09-04 2016-09-30 (주)한국플랫폼서비스기술 딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101650924B1 (ko) * 2014-07-01 2016-08-24 주식회사 아이티엑스엠투엠 지능형 영상 분석 시스템 및 방법
KR101719278B1 (ko) * 2015-04-14 2017-04-04 (주)한국플랫폼서비스기술 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254510A1 (en) 2014-02-28 2015-09-10 Nant Vision, Inc. Object recognition trait analysis systems and methods
US20150279054A1 (en) 2014-03-26 2015-10-01 Canon Kabushiki Kaisha Image retrieval apparatus and image retrieval method
KR101657495B1 (ko) * 2015-09-04 2016-09-30 (주)한국플랫폼서비스기술 딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법

Also Published As

Publication number Publication date
KR20180089132A (ko) 2018-08-08
WO2018143486A1 (ko) 2018-08-09

Similar Documents

Publication Publication Date Title
KR101930400B1 (ko) 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법
US11106903B1 (en) Object detection in image data
KR20200098379A (ko) 이미지 기반의 데이터 처리 방법, 장치, 기기 및 판독 가능 저장 매체
CN113128442B (zh) 基于卷积神经网络的汉字书法风格识别方法和评分方法
US20100061629A1 (en) Method and Apparatus for Binarization Threshold Calculation
CN101558416A (zh) 移动通信设备的文本检测
KR102124466B1 (ko) 웹툰 제작을 위한 콘티를 생성하는 장치 및 방법
US11461638B2 (en) Figure captioning system and related methods
RU2726185C1 (ru) Детектирование и идентификация объектов на изображениях
CN108280426B (zh) 基于迁移学习的暗光源表情识别方法及装置
CN107273895B (zh) 用于头戴式智能设备的视频流实时文本识别及翻译的方法
CN105190645B (zh) 将先前手写实例用于手写美化和其他应用
CN111783505A (zh) 伪造人脸的识别方法、装置和计算机可读存储介质
KR20240038939A (ko) 스타일 변환을 위한 영상 처리 장치 및 방법
JP2009110064A (ja) 分類モデル学習装置および分類モデル学習方法
CN112489143A (zh) 一种颜色识别方法、装置、设备及存储介质
CN110114776A (zh) 使用全卷积神经网络的字符识别的系统和方法
KR20200009599A (ko) 이미지에 작가의 화풍을 적용하여 제공하는 방법, 서버 및 프로그램
CN110659398A (zh) 一种基于数学图表类数据集的视觉问答方法
CN106372216A (zh) 提高题目查找准确率的方法和装置
Sethia et al. Gesture recognition for American sign language using Pytorch and Convolutional Neural Network
US20200364034A1 (en) System and Method for Automated Code Development and Construction
JPH11306325A (ja) 対象物検出装置及び対象物検出方法
KR101846342B1 (ko) 전자문서 관리방법을 컴퓨터에서 실행시키기 위한 프로그램을 저장한 기록매체 및 전자문서 관리 시스템
US9443139B1 (en) Methods and apparatus for identifying labels and/or information associated with a label and/or using identified information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant