KR102371042B1 - 콘텐츠 특성에 따른 ai 모델 학습 및 sr 샘플 자동 제작 시스템, 그리고 그 방법 - Google Patents

콘텐츠 특성에 따른 ai 모델 학습 및 sr 샘플 자동 제작 시스템, 그리고 그 방법 Download PDF

Info

Publication number
KR102371042B1
KR102371042B1 KR1020210016005A KR20210016005A KR102371042B1 KR 102371042 B1 KR102371042 B1 KR 102371042B1 KR 1020210016005 A KR1020210016005 A KR 1020210016005A KR 20210016005 A KR20210016005 A KR 20210016005A KR 102371042 B1 KR102371042 B1 KR 102371042B1
Authority
KR
South Korea
Prior art keywords
model
image
learning
providing module
data
Prior art date
Application number
KR1020210016005A
Other languages
English (en)
Inventor
이기수
Original Assignee
(주)에스프레소미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에스프레소미디어 filed Critical (주)에스프레소미디어
Priority to KR1020210016005A priority Critical patent/KR102371042B1/ko
Priority to KR1020220013569A priority patent/KR20220112697A/ko
Application granted granted Critical
Publication of KR102371042B1 publication Critical patent/KR102371042B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템, 그리고 그 방법에 관한 것이다. 본 발명은, 영상 제공 유닛(100); 및 영상 제공 유닛(100)로부터 복수의 영상 데이터를 수신하도록 송수신부(310)를 제어하여 데이터베이스(330) 상에 복수의 영상 데이터를 수집하며, 각 영상 데이터의 특징을 추출하고, 추출된 특징을 바탕으로 영상 분류를 수행하고, 분류된 그룹 단위로 모델 학습을 수행하는 학습 모델 제공 모듈(320a); 을 포함하는 것을 특징으로 할 수 있다. 이에 의해, 다양한 영상을 수집하여 각 영상에 대한 특징들마다 별도의 학습을 통해, 영상들을 특징별로 분류하고 각 특징마다 별도의 모델을 학습하여 모델군을 확보함으로써, 새로운 영상에 대해서 SR 알고리즘 모델 적용시 새로운 영상에 대해서 분석을 통해 확보된 모델군과 유사한 특징이 있는 경우 SR 알고리즘 모델을 적용할 수 있는 효과를 제공한다.

Description

콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템, 그리고 그 방법{AI model learning and SR sample automatic production system according to content characteristics, and method thereof}
본 발명은 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템, 그리고 그 방법에 관한 것으로, 보다 구체적으로는, 다양한 영상을 수집하여 각 영상에 대한 특징들마다 별도의 학습을 통해, 영상들을 특징별로 분류하고 각 특징마다 별도의 모델을 학습하여 모델군을 확보함으로써, 새로운 영상에 대해서 SR 알고리즘 모델 적용시 새로운 영상에 대해서 분석을 통해 확보된 모델군과 유사한 특징이 있는 경우 SR 알고리즘 모델을 적용하도록 하기 위한 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템, 그리고 그 방법에 관한 것이다.
SR 알고리즘(Super Resolution)은 다수의 저해상도 영상들의 정합을 통해 영상의 해상도를 향상시키는 알고리즘이다.
단일 SR 알고리즘 모델 적용으로는 복수의 특징들이 있는 타겟 영상에 대해 SR 효과가 미미한 현실이며 범용 모델로는 다양한 영상의 SR 알고리즘 모델 적용에 한계가 있다.
이에 따라 해당 기술분야에 있어서는 다양한 영상을 수집하여 각 영상에 대한 특징들마다 별도의 학습을 통해, 영상들을 특징별로 분류하고 각 특징마다 별도의 모델을 학습하여 모델군을 확보함으로써, 새로운 영상에 대해서 SR 알고리즘 모델 적용시 새로운 영상에 대해서 분석을 통해 확보된 모델군과 유사한 특징이 있는 경우 SR 알고리즘 모델을 적용하도록 하기 위한 기술 개발이 요구되고 있다.
대한민국 특허출원 출원번호 제10-2011-0080830(2011.08.12)호 "데이터해상도변환장치 및 데이터해상도변환방법(DEVICE FOR CHANGING RESOLUTION OF DATA AND METHOD FOR CHANGING RESOLUTINON OF DATA)" 대한민국 특허출원 출원번호 제10-1994-0037508(1994.12.27)호 "화상데이타의 해상도변환방법(METHOD FOR CONVERTING RESOLUTION OF PICTURE DATA)"
본 발명은 상기의 문제점을 해결하기 위한 것으로, 다양한 영상을 수집하여 각 영상에 대한 특징들마다 별도의 학습을 통해, 영상들을 특징별로 분류하고 각 특징마다 별도의 모델을 학습하여 모델군을 확보함으로써, 새로운 영상에 대해서 SR 알고리즘 모델 적용시 새로운 영상에 대해서 분석을 통해 확보된 모델군과 유사한 특징이 있는 경우 SR 알고리즘 모델을 적용하도록 하기 위한 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템, 그리고 그 방법을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템은, 영상 제공 유닛(100); 및 영상 제공 유닛(100)로부터 복수의 영상 데이터를 수신하도록 송수신부(310)를 제어하여 데이터베이스(330) 상에 복수의 영상 데이터를 수집하며, 각 영상 데이터의 특징을 추출하고, 추출된 특징을 바탕으로 영상 분류를 수행하고, 분류된 그룹 단위로 모델 학습을 수행하는 학습 모델 제공 모듈(320a); 을 포함하는 것을 특징으로 할 수 있다.
이때, 본 발명은, 타겟 데이터에 대해서 학습 모델 제공 모듈(320a)에 의해 학습된 모델을 기반으로 타겟 데이터와의 특징 비교 후 후보 모델군을 선택하는 수행 모델 제공 모듈(320b); 을 더 포함하는 것을 특징으로 할 수 있다.
또한, 타겟 데이터는 사용자 단말(400)로부터 제공되는 것을 특징으로 할 수 있다.
또한, 타겟 데이터는 데이터베이스(330) 상의 복수의 영상 중 하나로 사용자에 의해 지정되는 것을 특징으로 할 수 있다.
또한, 수행 모델 제공 모듈(320b)은, 후보 모델군으로 정량 측정값을 이용하여 최적 모델 선정을 수행하는 것을 특징으로 할 수 있다.
또한, 수행 모델 제공 모듈(320b)은, 선정된 최종 모델로 타겟 데이터에 대한 영상 전체 변환을 수행하는 것을 특징으로 할 수 있다.
또한, 수행 모델 제공 모듈(320b)은, 최적 모델 선정시 최적 모델이 복수인 경우 영상 전체 변환 전에 샘플 영상 SR algorithm(Super Resolution algorithm) 변환에 따라 변환된 샘플 영상을 생성하는 것을 특징으로 할 수 있다.
또한, 수행 모델 제공 모듈(320b)은, 생성된 샘플 영상에 대한 네트워크(200)를 통해 사용자 단말(400)로 제공하도록 송수신부(310)를 제어한 뒤, 사용자 확인 후 최종 모델을 특정하는 것을 특징으로 할 수 있다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 AI 모델 학습 및 SR 샘플 자동 제작 방법은, 학습 모델 제공 모듈(320a)이 영상 제공 유닛(100)로부터 복수의 영상 데이터를 수신하도록 송수신부(310)를 제어하여 데이터베이스(330) 상에 복수의 영상 데이터를 수집하는 제 1 단계; 및 학습 모델 제공 모듈(320a)이 각 영상 데이터의 특징을 추출하고, 추출된 특징을 바탕으로 영상 분류를 수행하고, 분류된 그룹 단위로 모델 학습을 수행하는 제 2 단계; 를 포함하는 것을 특징으로 할 수 있다.
이때, 본 발명은, 상기 제 2 단계 이후, 수행 모델 제공 모듈(320b)이 타겟 데이터에 대해서 학습 모델 제공 모듈(320a)에 의해 학습된 모델을 기반으로 타겟 데이터와의 특징 비교 후 후보 모델군을 선택하는 제 3 단계; 를 더 포함하는 것을 특징으로 할 수 있다.
또한, 타겟 데이터는 사용자 단말(400)로부터 제공되는 것을 특징으로 할 수 있다.
또한, 타겟 데이터는 데이터베이스(330) 상의 복수의 영상 중 하나로 사용자에 의해 지정되는 것을 특징으로 할 수 있다.
또한, 본 발명은, 상기 제 3 단계 이후, 수행 모델 제공 모듈(320b)이 후보 모델군으로 정량 측정값을 이용하여 최적 모델 선정을 수행하는 제 4 단계; 를 더 포함하는 것을 특징으로 할 수 있다.
또한, 본 발명은, 상기 제 4 단계 이후, 수행 모델 제공 모듈(320b)이 선정된 최종 모델로 타겟 데이터에 대한 영상 전체 변환을 수행하는 제 5 단계; 를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 제 4 단계는, 수행 모델 제공 모듈(320b)이 최적 모델 선정시 최적 모델이 복수인 경우 영상 전체 변환 전에 샘플 영상 SR algorithm(Super Resolution algorithm) 변환에 따라 변환된 샘플 영상을 생성하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템, 그리고 그 방법은, 다양한 영상을 수집하여 각 영상에 대한 특징들마다 별도의 학습을 통해, 영상들을 특징별로 분류하고 각 특징마다 별도의 모델을 학습하여 모델군을 확보함으로써, 새로운 영상에 대해서 SR 알고리즘 모델 적용시 새로운 영상에 대해서 분석을 통해 확보된 모델군과 유사한 특징이 있는 경우 SR 알고리즘 모델을 적용할 수 있는 효과를 제공한다.
도 1은 본 발명의 실시예에 따른 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템(1)을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템(1) 중 AI 모델 학습 및 SR 샘플 자동 제작 서버(300)의 구성요소를 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 방법을 나타내는 흐름도이다.
도 4는 본 발명의 실시예에 따른 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템(1) 중 AI 모델 학습 및 SR 샘플 자동 제작 서버(300)의 학습 모델 제공 모듈(320a) 및 수행 모델 제공 모듈(320b)의 구성을 구체적으로 나타내는 블록도이다.
도 5는 본 발명의 실시예에 따른 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템(1) 중 AI 모델 학습 및 SR 샘플 자동 제작 서버(300)의 학습 모델 제공 모듈(320a) 및 수행 모델 제공 모듈(320b)에 의해 수행되는 프로세스를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 학습 모델 제공 모듈(320a)을 위한 시스템 아키텍처(System Architecture)로 모델별 학습의 과정을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 수행 모델 제공 모듈(320b)을 위한 시스템 아키텍처(System Architecture)로 모델별 학습의 과정을 나타내는 도면이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템(1)을 나타내는 도면이다. 도 1을 참조하면, 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템(1)은 복수의 영상 제공 유닛(100)으로 이루어진 영상 제공 유닛 그룹(100g), 네트워크(200), AI 모델 학습 및 SR 샘플 자동 제작 서버(300) 및 사용자 단말(400)을 포함할 수 있다.
네트워크(200)는 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선 망일 수 있다. 네트워크(200)가 이동통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 네트워크(200)는 RNC(Radio Network Controller)을 포함할 수 있다. 한편, WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망 그 밖의 5G 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP망일 수 있다. 네트워크(200)는 복수의 영상 제공 유닛(100)으로 이루어진 영상 제공 유닛 그룹(100g), AI 모델 학습 및 SR 샘플 자동 제작 서버(300) 및 사용자 단말(400), 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다.
도 2는 본 발명의 실시예에 따른 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템(1) 중 AI 모델 학습 및 SR 샘플 자동 제작 서버(300)의 구성요소를 나타내는 블록도이다. 도 2를 참조하면, AI 모델 학습 및 SR 샘플 자동 제작 서버(300)은 송수신부(310), 제어부(320) 및 데이터베이스(330)를 포함할 수 있다. 제어부(320)는 학습 모델 제공 모듈(320a) 및 수행 모델 제공 모듈(320b)을 포함할 수 있다.
그리고 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
학습 모델 제공 모듈(320a)은 영상 제공 유닛(100)으로부터 복수의 영상 데이터를 수신하도록 송수신부(310)를 제어하여 데이터베이스(330) 상에 복수의 영상 데이터를 수집하며, 각 영상 데이터의 특징을 추출하고, 추출된 특징을 바탕으로 영상 분류를 수행하고, 분류된 그룹 단위로 모델 학습을 수행할 수 있다.
수행 모델 제공 모듈(320b)은 타겟 데이터가 사용자 단말(400) 등으로부터 제공되거나 데이터베이스(330) 상의 복수의 영상 중 하나로 지정되는 경우, 학습 모델 제공 모듈(320a)에 의해 학습된 모델을 기반으로 타겟 데이터와의 특징 비교 후 후보 모델군을 선택하고, 후보 모델군으로 정량 측정값을 이용하여 최적 모델 선정을 수행하며, 선정된 최종 모델로 타겟 데이터에 대한 영상 전체 변환을 수행할 수 있다.
한편, 수행 모델 제공 모듈(320b)은 최적 모델 선정시 최적 모델이 복수인 경우 영상 전체 변환 전에 샘플 영상 SR 알고리즘(Super Resolution algorithm) 변환에 따라 변환된 샘플 영상에 대한 네트워크(200)를 통해 사용자 단말(400)로 제공하도록 송수신부(310)를 제어한 뒤, 사용자 확인 후 최종 모델을 특정할 수 있다.
다음으로, 도 3은 본 발명의 실시예에 따른 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 방법을 나타내는 흐름도이다.
도 3을 참조하면, AI 모델 학습 및 SR 샘플 자동 제작 서버(300)의 학습 모델 제공 모듈(320a)은 영상 데이터셋 수집을 수행하고(S11), 수집된 영상 데이터셋에서 영상 특징 추출을 수행하고(S12), 특징 분류(S13)를 통한 모델 DB화(S14) 이후, 분류별 모델 학습을 수행할 수 있다(S15).
또한, 본 명세서에서 DB라 함은, 각각의 데이터베이스에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. DB는 적어도 하나의 테이블로 구현될 수도 있으며, 데이터베이스에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함할 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 데이터베이스의 형태 등 다양한 방식으로 구현될 수 있으며, 데이터베이스에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.
한편, AI 모델 학습 및 SR 샘플 자동 제작 서버(300)의 수행 모델 제공 모듈(320b)은 타겟 데이터인 신규 콘텐츠의 특성을 분석하고(S21), 콘텐츠와 매칭되는 최적 모델에 대한 모델 DB로부터 검색(S22)을 통해, 프레임 추출 후 각 모델로 SR 변환(S23)을 수행하되, 변환 후 PSNR(Peak Signal-to-Noise Ratio)/SSIM(Structural Similarity) 정량 수치 비교를 수행하여 비교 후 정량 측정값에 대한 미리 설정된 오차범위 내에 포함된 학습 모델을 최적 모델 후보군으로 선정한다(S24). 선정된 최적 모델 후보군 중 적어도 하나 이상에 대한 SR 샘플 1분 변환과 사용자 단말(400)로의 전송을 통해(S25), 사용자 확인(S26)에 따라 선택한 모델로 전체 영상 변환을 수행할 수 있다(S27).
도 4는 본 발명의 실시예에 따른 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템(1) 중 AI 모델 학습 및 SR 샘플 자동 제작 서버(300)의 학습 모델 제공 모듈(320a) 및 수행 모델 제공 모듈(320b)의 구성을 구체적으로 나타내는 블록도이다. 도 5는 본 발명의 실시예에 따른 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템(1) 중 AI 모델 학습 및 SR 샘플 자동 제작 서버(300)의 학습 모델 제공 모듈(320a) 및 수행 모델 제공 모듈(320b)에 의해 수행되는 프로세스를 나타내는 도면이다.
도 4 및 도 5를 참조하면, 학습 모델 제공 모듈(320a)은 데이터 수집 수단(321a), 특성 분석 수단(322a) 및 모델 학습 수단(323a)을 포함할 수 있다.
데이터 수집 수단(321a)은 영상 데이터에 해당하는 학습용 기초 영상/이미지 데이터 수집하는데 스마트폰, 웹 서버, 상업용 저장장치에 해당하는 각 영상 제공 유닛(100)로부터 수집을 수행한다. 여기서 스마트폰에 해당하는 영상 제공 유닛(100)은 도 1에서의 사용자 단말(400)을 포함할 수 있으나, 도 1에서는 설명의 편의를 위해 타겟 데이터의 제공 객체를 구분하기 위해 사용자 단말(400)을 별도로 도시한 것이다.
특성 분석 수단(322a)은 수집된 영상/이미지 데이터에 대해서 각 영상별로 프레임 추출을 수행하고, 추출된 프레임에서 특징 분석을 통해 분석된 특성으로 콘텐츠 분류를 수행할 수 있다.
모델 학습 수단(323a)은 분류된 특징 별로 데이터셋을 구성하고, 구성된 데이터셋을 기반으로 모델을 학습하고, 학습된 모델과 특징 정보를 데이터베이스(330) 상에 데이터화할 수 있다.
다음으로, 도 4 및 도 5를 참조하면, 수행 모델 제공 모듈(320b)은 콘텐츠 특성 추출 수단(321b), 최적 모델 선정 수단(322b) 및 영상 변환 수단(323b)을 포함할 수 있다.
콘텐츠 특성 추출 수단(321b)은 타겟 데이터인 입수된 콘텐츠의 특성 분석을 위해 프레임을 추출하고, 추출된 프레임에서 특성을 분석할 수 있다.
최적 모델 선정 수단(322b)은 분석된 특성을 가지고 데이터베이스(330) 상 의 학습된 특성 모델과 입수된 콘텐츠 간의 특징 정보 비교를 수행하며, 적합한 모델로 여겨지는 모델 후보를 선정하고, 선정된 모델로 변환 후 정량 검증하여 최적 모델을 선정할 수 있다.
영상 변환 수단(323b)은 선정된 최적 모델로 SR 샘플 영상 변환을 수행하고, 변환된 샘플 영상에 대해 사용자 확인 후 최종 모델 선정을 수행함으로써, 최종 모델로 전체 영상 변환 여부를 결정할 수 있다.
도 6은 본 발명의 실시예에 따른 학습 모델 제공 모듈(320a)을 위한 시스템 아키텍처(System Architecture)로 모델별 학습의 과정을 나타내는 도면이다.
이하에서는 도 6을 참조하여, 데이터 수집 수단(321a)에 의한 기초 데이터 수집, 특성 분석 수단(322a)에 의한 프레임 추출 및 특성 분석, 모델 학습 수단(323a)에 의한 특성별 모델 학습 및 모델 DB 구축 수행 과정에 대한 시스템 아키텍처(System Architecture)로 모델별 학습의 과정을 살펴보도록 한다.
데이터 수집 수단(321a)에 의한 기초 데이터 수집에 있어서, 데이터 수집 수단(321a)은 영상 데이터에 해당하는 각종 미디어 데이터를 수집을 위한 입력 과정에 따라, 입력된 데이터를 수집 알고리즘(Collector algorithm)이 올바른 데이터인지 검증한 후 데이터베이스(330) 상의 Repository(파일저장소)(331) 상으로 이동을 수행할 수 있다.
특성 분석 수단(322a)에 의한 프레임 추출에 있어서, 특성 분석 수단(322a)은 파일저장소(331) 상에 입력된 파일로부터 추출 알고리즘(Extractor algorithm)이 프레임 추출을 수행하도록 제어하며, 추출된 프레임들은 데이터베이스(330) 상의 Repository(프레임저장소)(332)에 저장을 수행할 수 있다.
특성 분석 수단(322a)에 의한 프레임 분석 및 특성 도출에 있어서, 특성 분석 수단(322a)은 특성 알고리즘(Characterizer algorithm)을 활용함으로써, 프레임저장소(332)의 프레임들을 분석하여 미디어 특성을 도출할 수 있으며, 도출된 특성들에는 미디어의 일반적인 특징들에 해당하는 화소, 주제, 화질, 장르, 영상특징, 영상 수집 디바이스 등 다양한 특징들의 집합을 반영할 수 있고, 분석된 특성은 데이터베이스(330) 상의 특성 DB(333)에 저장할 수 있다.
모델 학습 수단(323a)에 의한 특성별 모델 학습 및 모델 DB 구축 수행 과정에 있어서, 모델 학습 수단(323a)은 특성 DB(333)로 부터 특성 정보를 제공받아 모델 학습 알고리즘(del Learner algorithm)을 활용함으로써, 특성별로 모델을 학습하며, 기존에 학습된 특성 모델이 있으면 지속적으로 누적 학습을 수행할 수 있다.
본 발명의 일 실시예로, 모델 학습 수단(323a)에 의한 특성별로 모델을 학습시, 영상 데이터에 해당하는 각종 미디어 데이터에 적용된 SR 알고리즘(Super Resolution algorithm)에 대한 모델 학습을 수행할 수 있다.
이를 위해, 모델 학습 수단(323a)은 별도의 빅데이터 서버(미도시)와 네트워크(200)를 통해 데이터 세션을 연결하도록 송수신부(310)를 제어한 뒤, 빅데이터 서버 상의 분산 파일 프로그램에 의해 DCS DB에 분산 저장된 수집 데이터인 SR 알고리즘 모델에 대해 머신러닝 알고리즘을 통해 수많은 특성 또는 특징 분류별로 적용된 SR 알고리즘 모델을 추출할 수 있다.
보다 구체적으로, 분석/제어 프로그램에서 사용되는 머신러닝 알고리즘은 결정 트리(DT, Decision Tree) 분류 알고리즘, 랜덤 포레스트 분류 알고리즘, SVM(Support Vector Machine) 분류 알고리즘 중 하나일 수 있다.
분석/제어 프로그램은 분산 파일 프로그램에 의해 DCS DB에 분산 저장된 수집 데이터인 SR 알고리즘 모델과 복수의 특징 별로 적용된 개수를 추출하고 추출된 개수를 오름차순으로 정렬함으로써, SR 알고리즘 모델에 대한 특징 분류별 최적 모델에 대한 추출을 수행할 수 있다.
즉, 분석/제어 프로그램은 최적 모델 추출의 정확도 향상을 위해 다수의 상호 보완적인 머신러닝 알고리즘들로 구성된 앙상블 구조를 적용할 수 있다.
결정 트리 분류 알고리즘은 트리 구조로 학습하여 결과를 도출하는 방식으로 결과 해석 및 이해가 용이하고, 데이터 처리 속도가 빠르며 탐색 트리 기반으로 룰 도출이 가능할 수 있다. DT의 낮은 분류 정확도를 개선하기 위한 방안으로 RF를 적용할 수 있다.
랜덤 포레스트 분류 알고리즘은 다수의 DT를 앙상블로 학습한 결과를 도축하는 방식으로, DT보다 결과 이해가 어려우나 DT보다 결과 정확도가 높을 수 있다. DT 또는 RF 학습을 통해 발생 가능한 과적합의 개선 방안으로 SVM을 적용할 수 있다. SVM 분류 알고리즘은 서로 다른 분류에 속한 데이터를 평면 기반으로 분류하는 방식으로, 일반적으로 높은 정확도를 갖고, 구조적으로 과적합(overfitting)에 낮은 민감도를 가질 수 있다.
한편, 모델 학습 수단(323a)은 학습에 필요한 프레임 데이터는 프레임저장소(332)로부터 가져오며, 누적된 모델 학습 정보는 모델 DB(334)에 저장하여 모델 DB 구축 수행함으로써, 학습된 모델 정보는 향후 영상 변환의 기초 데이터로 이용될 수 있다.
도 7은 본 발명의 실시예에 따른 수행 모델 제공 모듈(320b)을 위한 시스템 아키텍처(System Architecture)로 모델별 학습의 과정을 나타내는 도면이다. 도 7을 참조하면, 콘텐츠 특성 추출 수단(321b)에 의한 신규데이터 특성 분석, 최적 모델 선정 수단(322b)에 의한 최적 모델 선정, 영상 변환 수단(323b)에 의한 샘플 제작 및 최종 변환의 과정을 살펴보도록 한다.
콘텐츠 특성 추출 수단(321b)에 의한 신규데이터 특성 분석을 위한 사전 과정으로, 콘텐츠 특성 추출 수단(321b)은 추출 알고리즘(Extractor algorithm)을 활용하여 입력된 미디어로부터 프레임을 추출하고, 추출된 프레임을 프레임저장소(332)에 저장한다.
콘텐츠 특성 추출 수단(321b)에 의한 신규데이터 특성 분석에 있어서, 콘텐츠 특성 추출 수단(321b)은 프레임저장소(332)에 저장된 프레임들을 특성 알고리즘(Characterizer algorithm)을 활용하여 분석함으로써, 미디어 특성을 도출할 수 있다.
최적 모델 선정 수단(322b)에 의한 최적 모델 선정, 즉 적합 모델 선출에 있어서, Model Selector(모델선출기) 알고리즘을 활용하여 분석함으로써 도출된 특성과 모델 DB(333)의 학습 모델과 비교하여 모델 후보를 선정한다. 선정된 해당 모델 후보들은 Model Verifier(모델정량검증기) 알고리즘을 이용함으로써, Model Verifier(모델정량검증기)에 의한 샘플 프레임의 PSNR(Peak Signal-to-Noise Ratio)/SSIM(Structural Similarity)를 포함하는 미리 설정된 정량 측정값과 비교함으로써, 비교 후 정량 측정값에 대한 미리 설정된 오차범위 내에 포함된 학습 모델을 최적 모델 후보군으로 선정할 수 있다.
영상 변환 수단(323b)에 의한 샘플 제작 및 최종 변환 중 샘플 제작, 즉 샘플 영상 제작에 있어서, 영상 변환 수단(323b)은 최적 모델 후보군이 복수인 경우 샘플 영상의 제작 단계 추가가 가능하다. 영상 변환 수단(323b)은 샘플 제작 알고리즘(Sample Maker algorithm)을 활용하여, 최적 학습 모델들을 이용한 미디어의 n초(n은 1 이상의 자연수)의 샘플 영상을 변환한 후 네트워크(200)를 통해 사용자 단말(400)로 제공하고, 사용자에 의한 육안 확인과정을 거치도록 수행하며, 육안으로 만족스럽지 못하는 경우, 복수의 최적 모델 후보군 중 다른 후보군에 대한 과정을 재수행할 수 있다.
영상 변환 수단(323b)에 의한 샘플 제작 및 최종 변환 중 최종 변환, 즉 최종 영상 변환에 있어서, 영상 변환 수단(323b)은 최적 학습 모델을 선정후 해당 학습 모델을 이용하여 전체 SR 영상을 변환하여 최종 영상을 획득할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
1 : 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템
100 : 영상 제공 유닛
200 : 네트워크
200 : AI 모델 학습 및 SR 샘플 자동 제작 서버
310 : 송수신부
320 : 제어부
320a : 학습 모델 제공 모듈
321a : 데이터 수집 수단
322a : 특성 분석 수단
323a : 모델 학습 수단
320b : 수행 모델 제공 모듈
321b : 콘텐츠 특성 추출 수단
322b : 최적 모델 선정 수단
323b : 영상 변환 수단
330 : 데이터베이스
400 : 사용자 단말

Claims (15)

  1. 영상 제공 유닛(100);
    상기 영상 제공 유닛(100)로부터 복수의 영상 데이터를 수신하도록 송수신부(310)를 제어하여 데이터베이스(330) 상에 복수의 영상 데이터를 수집하며, 각 영상 데이터의 특징을 추출하고, 추출된 특징을 바탕으로 영상 분류를 수행하고, 분류된 그룹 단위로 모델 학습을 수행하되, 기존에 학습된 특성 모델이 있으면 지속적으로 누적 학습을 수행하는 학습 모델 제공 모듈(320a); 및
    타겟 데이터에 대해서 상기 학습 모델 제공 모듈(320a)에 의해 학습된 모델을 기반으로 타겟 데이터와의 특징 비교 후 후보 모델군을 선택하는 수행 모델 제공 모듈(320b); 을 포함하는 것을 특징으로 하며,
    상기 타겟 데이터는 사용자 단말(400)로부터 제공되거나, 또는 데이터베이스(330) 상의 복수의 영상 중 하나로 사용자에 의해 지정되고,
    상기 수행 모델 제공 모듈(320b)은,
    후보 모델군으로 정량 측정값을 이용하여 최적 모델 선정을 수행하고,
    최적 모델 선정시 최적 모델이 복수인 경우 영상 전체 변환 전에 샘플 영상 SR 알고리즘(Super Resolution algorithm) 변환에 따라 변환된 샘플 영상을 생성하며, 선정된 최종 모델로 타겟 데이터에 대한 영상 전체 변환을 수행하는 것을 특징으로 하는 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 청구항 1에 있어서, 상기 수행 모델 제공 모듈(320b)은,
    생성된 샘플 영상을 네트워크(200)를 통해 사용자 단말(400)로 제공하도록 송수신부(310)를 제어한 뒤, 사용자 확인 후 최종 모델을 특정하는 것을 특징으로 하는 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 시스템.
  9. 학습 모델 제공 모듈(320a)이 영상 제공 유닛(100)로부터 복수의 영상 데이터를 수신하도록 송수신부(310)를 제어하여 데이터베이스(330) 상에 복수의 영상 데이터를 수집하는 제 1 단계;
    학습 모델 제공 모듈(320a)이 각 영상 데이터의 특징을 추출하고, 추출된 특징을 바탕으로 영상 분류를 수행하고, 분류된 그룹 단위로 모델 학습을 수행하되, 기존에 학습된 특성 모델이 있으면 지속적으로 누적 학습을 수행하는 제 2 단계;
    수행 모델 제공 모듈(320b)이 타겟 데이터에 대해서 학습 모델 제공 모듈(320a)에 의해 학습된 모델을 기반으로 타겟 데이터와의 특징 비교 후 후보 모델군을 선택하는 제 3 단계;
    수행 모델 제공 모듈(320b)이 후보 모델군으로 정량 측정값을 이용하여 최적 모델 선정을 수행하고, 수행 모델 제공 모듈(320b)은, 최적 모델 선정시 최적 모델이 복수인 경우 영상 전체 변환 전에 샘플 영상 SR 알고리즘(Super Resolution algorithm) 변환에 따라 변환된 샘플 영상을 생성하는 제 4 단계; 및
    수행 모델 제공 모듈(320b)이 선정된 최종 모델로 타겟 데이터에 대한 영상 전체 변환을 수행하는 제 5 단계; 를 포함하는 것을 특징으로 하며,
    상기 타겟 데이터는 사용자 단말(400)로부터 제공되거나, 또는 데이터베이스(330) 상의 복수의 영상 중 하나로 사용자에 의해 지정되는 것을 특징으로 하는 콘텐츠 특성에 따른 AI 모델 학습 및 SR 샘플 자동 제작 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020210016005A 2021-02-04 2021-02-04 콘텐츠 특성에 따른 ai 모델 학습 및 sr 샘플 자동 제작 시스템, 그리고 그 방법 KR102371042B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210016005A KR102371042B1 (ko) 2021-02-04 2021-02-04 콘텐츠 특성에 따른 ai 모델 학습 및 sr 샘플 자동 제작 시스템, 그리고 그 방법
KR1020220013569A KR20220112697A (ko) 2021-02-04 2022-01-28 콘텐츠 특성에 따른 ai 모델 학습 및 sr 샘플 자동 제작 시스템, 그리고 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210016005A KR102371042B1 (ko) 2021-02-04 2021-02-04 콘텐츠 특성에 따른 ai 모델 학습 및 sr 샘플 자동 제작 시스템, 그리고 그 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220013569A Division KR20220112697A (ko) 2021-02-04 2022-01-28 콘텐츠 특성에 따른 ai 모델 학습 및 sr 샘플 자동 제작 시스템, 그리고 그 방법

Publications (1)

Publication Number Publication Date
KR102371042B1 true KR102371042B1 (ko) 2022-03-07

Family

ID=80817361

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210016005A KR102371042B1 (ko) 2021-02-04 2021-02-04 콘텐츠 특성에 따른 ai 모델 학습 및 sr 샘플 자동 제작 시스템, 그리고 그 방법
KR1020220013569A KR20220112697A (ko) 2021-02-04 2022-01-28 콘텐츠 특성에 따른 ai 모델 학습 및 sr 샘플 자동 제작 시스템, 그리고 그 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220013569A KR20220112697A (ko) 2021-02-04 2022-01-28 콘텐츠 특성에 따른 ai 모델 학습 및 sr 샘플 자동 제작 시스템, 그리고 그 방법

Country Status (1)

Country Link
KR (2) KR102371042B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160089194A (ko) * 2015-01-19 2016-07-27 삼성전자주식회사 영상 처리 장치, 의료영상 장치 및 영상 처리 방법
KR101997909B1 (ko) * 2018-05-21 2019-07-08 주식회사 지디에프랩 해상도 복원을 위한 ai 영상학습 파라미터 추출 프로그램 및 기록매체
KR102103984B1 (ko) * 2013-07-15 2020-04-23 삼성전자주식회사 깊이 영상 처리 방법 및 장치
KR20200052400A (ko) * 2018-10-23 2020-05-15 한국항공대학교산학협력단 개선된 영상 분류 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102103984B1 (ko) * 2013-07-15 2020-04-23 삼성전자주식회사 깊이 영상 처리 방법 및 장치
KR20160089194A (ko) * 2015-01-19 2016-07-27 삼성전자주식회사 영상 처리 장치, 의료영상 장치 및 영상 처리 방법
KR101997909B1 (ko) * 2018-05-21 2019-07-08 주식회사 지디에프랩 해상도 복원을 위한 ai 영상학습 파라미터 추출 프로그램 및 기록매체
KR20200052400A (ko) * 2018-10-23 2020-05-15 한국항공대학교산학협력단 개선된 영상 분류 시스템 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
대한민국 특허출원 출원번호 제10-1994-0037508(1994.12.27)호 "화상데이타의 해상도변환방법(METHOD FOR CONVERTING RESOLUTION OF PICTURE DATA)"
대한민국 특허출원 출원번호 제10-2011-0080830(2011.08.12)호 "데이터해상도변환장치 및 데이터해상도변환방법(DEVICE FOR CHANGING RESOLUTION OF DATA AND METHOD FOR CHANGING RESOLUTINON OF DATA)"

Also Published As

Publication number Publication date
KR20220112697A (ko) 2022-08-11

Similar Documents

Publication Publication Date Title
CN103117903B (zh) 上网流量异常检测方法及装置
WO2022057268A1 (zh) 基站节能策略确定方法、装置以及存储介质
US20210357752A1 (en) Model Processing Method, Apparatus, Storage Medium, and Processor
CN111506773A (zh) 一种基于无监督深度孪生网络的视频去重方法
KR20170140188A (ko) 오디오 컨텐츠 인식 방법 및 장치
KR101954717B1 (ko) 고속분석 영상처리장치 및 그 장치의 구동방법
CN113449682B (zh) 一种基于动态融合模型识别民航领域射频指纹的方法
US20210312587A1 (en) Distributed image analysis method and system, and storage medium
CN113869521A (zh) 构建预测模型的方法、装置、计算设备和存储介质
CN115272242B (zh) 一种基于YOLOv5的光学遥感图像目标检测方法
KR102371042B1 (ko) 콘텐츠 특성에 따른 ai 모델 학습 및 sr 샘플 자동 제작 시스템, 그리고 그 방법
CN107770813B (zh) 基于pca与二维偏度特征的lte上行干扰分类方法
CN112668723A (zh) 一种机器学习方法及系统
CN114640669A (zh) 边缘计算方法及装置
CN113537053B (zh) 一种构建民航领域射频指纹识别模型的方法
KR102449534B1 (ko) 지능형 세포 관리 시스템
CN110868732B (zh) VoLTE接通无线失败的问题定位方法、系统和设备
KR20220021495A (ko) Ai에 기반하여 스트리밍 파일의 해상도를 개선하는 방법
Zhong et al. Prediction system for activity recognition with compressed video
Wang et al. A mobile network performance evaluation method based on multivariate time series clustering with auto-encoder
CN115276856B (zh) 一种基于深度学习的信道选择方法
CN116264620B (zh) 直播录制的音频数据采集处理方法及相关装置
CN115982236B (zh) 一种应用于ai的大数据优化方法及服务器
CN114168216B (zh) 一种参数调优方法、设备及存储介质
CN118013367A (zh) 一种面向通信领域信号分选的持续学习方法

Legal Events

Date Code Title Description
X091 Application refused [patent]
A107 Divisional application of patent
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant