KR20210097314A - 인공지능 기반 이미지 자동 생성 시스템 - Google Patents

인공지능 기반 이미지 자동 생성 시스템 Download PDF

Info

Publication number
KR20210097314A
KR20210097314A KR1020200010841A KR20200010841A KR20210097314A KR 20210097314 A KR20210097314 A KR 20210097314A KR 1020200010841 A KR1020200010841 A KR 1020200010841A KR 20200010841 A KR20200010841 A KR 20200010841A KR 20210097314 A KR20210097314 A KR 20210097314A
Authority
KR
South Korea
Prior art keywords
clip
emotion
image
information
highlight
Prior art date
Application number
KR1020200010841A
Other languages
English (en)
Inventor
박경미
Original Assignee
박경미
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박경미 filed Critical 박경미
Priority to KR1020200010841A priority Critical patent/KR20210097314A/ko
Publication of KR20210097314A publication Critical patent/KR20210097314A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G06K9/00751—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences

Abstract

인공지능 기반 이미지 자동 생성 시스템이 개시된다. 이 시스템은 영상 콘텐츠로부터 복수의 클립 영상을 생성하는 클립 생성부, 각각의 클립 영상을 분석하여 하나 이상의 감정 항목을 매핑하는 클립 감정 매핑부, 사용자가 선호하는 하나 이상의 영상 콘텐츠를 구성하는 클립 영상들의 감정 항목에 근거하여 사용자 선호 감정 정보를 생성하는 사용자 선호 정보 생성부, 및 타겟 동영상의 클립 영상들 중에서 사용자 선호 감정 정보에 속하는 감정 항목이 매핑된 클립 영상들을 이용하여 하이라이트 콘텐츠를 생성하는 하이라이트 생성부를 포함한다.

Description

인공지능 기반 이미지 자동 생성 시스템{Artificial intelligence based image generation system}
본 발명은 이미지 처리 기술에 관한 것으로, 특히 복수의 이미지로부터 일부를 발췌하여 새로운 이미지 콘텐츠를 생성하는 기술에 관한 것이다.
국내공개특허공보 제10-2015-0011652호에는 클립 동영상을 생성하고 그 생성된 클립 동영상을 이용하여 미리보기 동영상을 제공하는 내용이 개시되어 있다. 이에 따른 동영상 구간 데이터 생성 방법은 다음과 같다. 첫 번째 단계에서는 동영상 데이터를 이용하여 디스플레이의 제 1 영역에 동영상을 재생한다. 두 번째 단계에서는 사용자 인터페이스를 통해 입력된 하나 이상의 신호에 기초하여 동영상 내 구간을 선택한다. 세 번째 단계에서는 동영상 데이터 중에서 선택된 구간에 대응하는 데이터를 이용하여 그 구간을 대표하는 이미지를 생성한다. 네 번째 단계에서는 대표 이미지를 디스플레이의 제 2 영역에 표시한다. 마지막 다섯 번째 단계에서는 사용자 인터페이스를 통해 대표 이미지가 선택된 경우, 위에서 선택된 구간에 대응하는 동영상 구간 데이터를 생성한다.
국내공개특허공보 제10-2015-0011652호 (2015년 2월 2일 공개)
본 발명은 복수의 이미지에서 사용자가 선호하는 이미지들만으로 이루어진 하이라이트 콘텐츠를 자동으로 생성하는 기술적 방안을 제공함을 목적으로 한다.
일 양상에 따른 인공지능 기반 이미지 자동 생성 시스템은 영상 콘텐츠로부터 복수의 클립 영상을 생성하는 클립 생성부, 각각의 클립 영상을 분석하여 하나 이상의 감정 항목을 매핑하는 클립 감정 매핑부, 사용자가 선호하는 하나 이상의 영상 콘텐츠를 구성하는 클립 영상들의 감정 항목에 근거하여 사용자 선호 감정 정보를 생성하는 사용자 선호 정보 생성부, 및 타겟 동영상의 클립 영상들 중에서 사용자 선호 감정 정보에 속하는 감정 항목이 매핑된 클립 영상들을 이용하여 하이라이트 콘텐츠를 생성하는 하이라이트 생성부를 포함할 수 있다.
하이라이트 생성부는 각각의 클립 영상별로 프레임을 랜덤 추출하며, 랜덤 추출된 프레임들을 합성하여 단일 이미지로 이루어진 하이라이트 콘텐츠를 생성할 수 있다.
하이라이트 생성부는 사용자 선호 감정 정보에 속하는 감정 항목이 매핑된 클립 영상들을 랜덤하게 선택하고 조합하여 하이라이트 콘텐츠를 생성할 수 있다.
클립 감정 매핑부는 클립 영상을 분석하여 클립 정보를 생성하는 클립 정보 생성부, 및 클립 정보에 근거하여 클립 영상별 하나 이상의 감정 항목을 매핑하는 감정 매핑부를 포함할 수 있다.
감정 매핑부는 클립 정보를 다차원 벡터로 변환하는 벡터 생성부, 다차원 벡터를 클러스터링하여 그룹화하는 벡터 그룹화부, 및 그룹별 고유 감정 항목에 따라 해당 클립 영상에 하나 이상의 감정 항목을 매핑하는 매핑부를 포함할 수 있다.
한편, 일 양상에 따른 인공지능 기반 하이라이트 콘텐츠 생성 방법은 타겟 동영상으로부터 복수의 클립 영상을 생성하는 클립 생성 단계, 각각의 클립 영상을 분석하여 하나 이상의 감정 항목을 매핑하는 클립 감정 매핑 단계, 및 타겟 동영상의 클립 영상들 중에서 사용자 선호 감정 정보에 속하는 감정 항목이 매핑된 클립 영상들을 이용하여 하이라이트 콘텐츠를 생성하는 하이라이트 생성 단계를 포함할 수 있다.
본 발명에 따르면, 사용자가 선호하는 감정에 적합한 맞춤형 하이라이트 콘텐츠를 생성하여 제공하는 것이 가능해진다.
도 1은 일 실시예에 따른 인공지능 기반 이미지 자동 생성 시스템 블록도이다.
도 2는 일 실시예에 따른 인공지능 기반 하이라이트 콘텐츠 생성 방법 흐름도이다.
도 3은 감정 항목들을 예시한 도면이다.
도 4는 일 실시예에 따른 S200에 대한 상세 흐름도이다.
도 5는 클립 엽상 및 클립 정보를 생성하는 과정을 예시한 도면이다.
도 6은 일 실시예에 따른 S230에 대한 상세 흐름도이다.
도 7은 클립 정보를 다차원 벡터로 변환하는 과정을 예시한 도면이다.
도 8은 벡터 그룹화를 예시한 도면이다.
도 9는 그룹별 분류된 단어들을 예시한 도면이다.
도 10은 클립 정보로부터 감정 단어를 추출하는 과정을 나타낸 예시도이다.
도 11은 일 실시예에 따른 사용자 선호 감정 정보 생성 방법 흐름도이다.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 인공지능 기반 이미지 자동 생성 시스템 블록도이다. 도 1에 도시된 바와 같이, 인공지능 기반 이미지 자동 생성 시스템은 클립 생성부(100)와 클립 감정 매핑부(200)와 사용자 선호 정보 생성부(300) 및 하이라이트 생성부(400)를 포함할 수 있다. 이들은 모두 소프트웨어적으로 구현 가능한 구성들이며, 하나 이상의 프로세서에 의해 실행될 수 있다. 즉, 사용자 선호 기반 트레일러 영상을 생성하는 하드웨어적 주체는 프로세서일 수 있다. 그리고 도 1의 사용자 선호 기반 트레일러 영상 시스템은 사용자 디바이스에 구성될 수도 있고, 사용자 디바이스로 트레일러 영상을 제공하는 서버 시스템에 구성될 수도 있다. 아니면 도 1의 일부는 사용자 디바이스에 나머지는 서버 시스템에 이원화되어 구성되는 것도 가능하다.
클립 생성부(100)는 영상 콘텐츠로부터 복수의 클립 영상을 생성한다. 하나 또는 복수의 동영상이 입력으로 주어지면, 클립 생성부(100)는 각각의 동영상을 복수 개로 분할(cut)하여 복수의 클립 영상을 생성한다. 일 실시예에 있어서, 클립 생성부(100)는 자막(subtitle)이 존재하는 영상 구간에 대해서는 자막에 근거하여 동영상을 컷트하여 클립 영상을 생성하며, 자막이 존재하지 않는 영상 구간에 대해서는 장면 단위나 시간 단위 등으로 컷트하여 클립 영상을 생성한다. 생성된 클립 영상들은 스토리지에 저장되어 보관된다
클립 감정 매핑부(200)는 각각의 클립 영상을 분석하여 클립 영상별로 하나 이상의 감정 항목을 매핑한다. 부연하면, 클립 감정 매핑부(200)는 클립 영상으로부터 사람이 느끼게 되는 보편적인 감정을 파악하고 그 파악된 감정을 클립 영상에 매핑 관리하는 것이다. 일 실시예에 있어서, 클립 감정 매핑부(200)는 클립 영상에 자막이 포함된 경우에는 자막 분석과 이미지 분석에 근거하여 클립 영상에 해당되는 감정 항목을 매핑하며, 클립 영상에 자막이 미포함된 경우에는 이미지 분석에만 근거하여 클립 영상에 해당되는 감정 항목을 매핑한다. 클립 영상별 매핑 정보는 데이터베이스에 저장되어 관리된다.
사용자 선호 정보 생성부(300)는 사용자가 선호하는 감정에 기반하여 사용자에게 맞춤형 하이라이트 콘텐츠를 제공할 수 있도록 하기 위한 사용자 선호 감정 정보를 생성한다. 일 실시예에 있어서, 사용자 선호 정보 생성부(300)는 사용자가 선호하는 하나 또는 복수의 영상 콘텐츠를 구성하는 클립 영상들의 감정 항목에 근거하여 사용자 선호 감정 정보를 생성한다. 즉, 사용자 선호 정보 생성부(300)는 사용자가 선호하는 영상 콘텐츠에 대해 클립 생성부(100)와 클립 감정 매핑부(200)를 통해 처리된 결과에 따라 사용자가 선호하는 감정 항목들로 구성된 사용자 선호 감정 정보를 생성한다.
하이라이트 생성부(400)는 타겟 동영상의 클립 영상들 중에서 일부를 조합하여 하이라이트 콘텐츠를 생성하되, 사용자 선호 감정 정보에 속하는 감정 항목이 매핑된 클립 영상들을 이용하여 하이라이트 콘텐츠를 생성한다. 여기서, 타겟 동영상은 사용자에 의해 지정된 영상 콘텐츠를 말한다. 일 실시예에 있어서, 하이라이트 생성부(400)는 조합에 사용되는 클립 영상별로 하나 이상의 프레임을 랜덤 추출하며, 랜덤 추출된 프레임들을 합성하여 단일 이미지로 이루어진 하이라이트 콘텐츠를 생성한다. 이때, 하이라이트 생성부(400)는 프레임들의 사이즈를 동일한 비율로 축소 또는 감정 항목에 따라 서로 다른 비율로 축소한 후 합성하여 단일 이미지를 생성할 수 있다. 다른 실시예에 있어서, 하이라이트 생성부(400)는 타겟 동영상의 클립 영상들 중에서 클립 영상들을 랜덤하게 선택하고 배열 순서를 랜덤하게 또는 기정해진 순서에 따라 조합하여 하이라이트 콘텐츠를 생성한다. 기정해진 순서는 사용자가 선호하는 감정 항목 순서일 수 있다. 이상에 따라, 사용자 맞춤형 트레일러 영상을 생성하는 것이 가능해진다. 참고로, 사용자 선호 감정 정보에 속하는 감정 항목들로는 분노(Anger), 두려움(Fear), 슬픔(Sadness) 등을 예로 들 수 있다.
도 1에 도시된 바와 같이, 클립 감정 매핑부(200)는 클립 정보 생성부(210)와 감정 매핑부(230)를 포함할 수 있다. 클립 정보 생성부(210)는 클립 영상별로 클립 정보를 생성한다. 클립 정보는 텍스트 형태의 정보이며, 클립 영상에 대한 메타 정보(meta information)를 말한다. 클립 정보 생성부(210)는 자막 분석과 이미지 분석을 수행하고 그 분석 결과에 따라 클립 정보를 생성할 수 있다. 자막이 없는 클립 영상에 대해서는 이미지 분석만을 수행할 수 있다. 그리고 자막이 포함된 클립 영상의 경우의 클립 정보에는 자막 텍스트와 이미지 묘사 텍스트가 포함될 수 있으며, 자막이 미포함된 클립 영상의 클립 정보에는 자막 텍스트는 제외하고 이미지 묘사 텍스트만이 포함될 수 있다. 감정 매핑부(230)는 클립 정보 생성부(210)에 의해 생성된 클립 정보를 이용하여 클립 영상별로 하나 이상의 감정 항목을 매핑한다. 즉, 감정 매핑부(230)는 클립 정보에 포함된 텍스트에 근거하여 클립 영상별로 하나 이상의 감정 항목을 매핑한다. 일 실시예에 있어서, 감정 매핑부(230)는 클립 정보를 벡터화한 후에 벡터화된 감정을 분석하여 클립 영상에 해당 감정 항목을 매핑한다.
도 1에 도시된 바와 같이, 감정 매핑부(230)는 벡터 생성부(231)와 벡터 그룹화부(232) 및 매핑부(233)를 포함할 수 있다. 벡터 생성부(231)는 클립 정보 생성부(210)에 의해 생성된 클립 정보를 다차원 벡터로 변환한다. 이때, 벡터 생성부(231)는 기계 학습(Machine Learning)을 통해 미리 준비된 학습 모델(Pre-trained Model)을 이용하여 클립 정보를 다차원 벡터로 변환한다. 벡터 그룹화부(232)는 다차원 벡터를 클러스터링하여 그룹화한다. 즉, 유사한 값을 벡터들끼리 그룹(클러스터)으로 분류하는 것이다. 여기서, 각각의 그룹은 고유 감정 항목이 부여된 그룹이다. 이러한 점에서, 그룹을 감정 그룹(감정 클러스터)이라 칭할 수 있다. 매핑부(233)는 그룹별 고유 감정 항목에 따라 해당 클립 영상에 하나 이상의 감정 항목을 매핑한다. 클립 영상의 클립 정보는 다차원 벡터로 변환되며, 벡터들은 그룹화되는 바, 벡터들이 속한 하나 이상의 그룹에 부여된 감정 항목을 해당 클립 영상에 매핑하는 것이다. 일 실시예에 있어서, 매핑부(233)는 소정 개수 이상의 벡터들이 포함된 그룹에 대한 감정 항목만을 클립 영상에 매핑한다.
도 1에 도시된 바와 같이, 클립 감정 매핑부(200)는 클립 정보 전처리부(220)를 더 포함할 수 있다. 클립 정보 전처리부(220)는 클립 정보 생성부(210)에 의해 생성된 클립 정보를 전처리(Pre-processing)한다. 일 실시예에 있어서, 클립 정보 전처리부(220)는 정규화(Normalization), 토큰화(Tokenization), 형태소 분석(Stemming)을 포함하는 전처리를 통해 클립 정보에서 불필요한 단어를 제거한다. 클립 정보 전처리부(220)에 의해 전처리된 클립 정보는 감정 매핑부(230)로 전달된다.
도 2는 일 실시예에 따른 인공지능 기반 하이라이트 콘텐츠 생성 방법 흐름도이다. 클립 생성부(100)는 타겟 동영상을 분할(cut)하여 복수의 클립 영상을 생성한다(S100). S100에서, 클립 생성부(100)는 자막이 존재하는 영상 구간에 대해서는 자막에 근거하여 클립 영상을 생성할 수 있으며, 자막이 존재하지 않는 영상 구간에 대해서는 장면 단위나 시간 단위 등으로 컷트하여 클립 영상을 생성할 수 있다. 클립 감정 매핑부(200)는 클립 영상들 각각을 분석하여 클립 영상별로 하나 이상의 감정 항목을 매핑한다(S200). 도 3에 전체 감정 항목이 예시되어 있다. 전체 감정 항목은 도 3의 (A)와 같이 긍정적 감정(Positive), 부정적 감정(Negative), 무감정(Neutral)으로 이루어질 수 있고, 도 3의 (B)와 같이 분노(Anger), 역겨움(Disgust), 두려움(Fear), 행복(Happiness), 슬픔(Sadness), 놀라움(Surprise)으로 이루어질 수 있으며, 도 3의 (C)와 같이 더욱 다양하게 이루어질 수 있다.
하이라이트 생성부(400)는 타겟 동영상의 클립 영상들 중에서 일부를 조합하여 하이라이트 콘텐츠를 생성한다(S300). S300에서, 하이라이트 생성부(400)는 사용자가 선호하는 감정 항목을 갖는 클립 영상들만으로 하이라이트 콘텐츠를 생성한다. 예를 들어, 사용자가 선호하는 감정 항목이 행복(Happiness), 슬픔(Sadness), 놀라움(Surprise)일 경우에는 이와 매핑된 클립 영상들을 가지고 하이라이트 콘텐츠를 생성한다. 하이라이트 생성부(400)는 클립 영상들을 단일 이미지로 조합하여 하이라이트 콘텐츠를 생성할 수도 있고 클립 영상들을 랜덤하게 또는 기정해진 순서에 따라 배열 조합하여 하이라이트 콘텐츠를 생성할 수도 있다.
도 4는 일 실시예에 따른 S200에 대한 상세 흐름도이다. 클립 정보 생성부(210)는 클립 영상마다 클립 정보를 생성한다(S210). 클립 정보는 자막 분석과 이미지 분석을 통해 얻어진 자막 텍스트와 이미지 묘사 텍스트를 포함하여 이루어질 수 있다. 참고로, 도 5에 하나의 영상으로부터 클립 영상들을 생성하고 클립 영상들을 분석하여 클립 정보들을 생성하는 과정이 예시되어 있다. 타겟 동영상으로 “모아나”가 예시되어 있다. 자막이 포함된 영상 구간에 대해서는 자막과 이미지 분석이 이루어지며, 자막이 미포함된 영상 구간에 대해서는 이미지 분석만이 이루어진다. 그리고 분석 결과에 따른 클립 정보로는 “Thanks, Moana”와 “A girl and an old woman standing side to side”와 같이 텍스트 형태의 정보가 생성된다.
클립 정보 전처리부(220)는 클립 영상별 클립 정보를 전처리한다(S220). 전처리를 통해, 클립 정보에서 불필요한 단어는 제거된다. 예를 들어, 관사나 접속사 혹은 전치사 등은 제거된다. 감정 매핑부(230)는 클립 정보를 이용하여 클립 영상에 하나 이상의 감정 항목을 매핑한다(S230). 예를 들어, 클립 영상 A에는 분노(Anger)와 두려움(Fear)이 매핑되고, 클립 영상 B에는 행복(Happiness)이 매핑되며, 클립 영상 C에는 두려움(Fear)과 슬픔(Sadness)이 매핑되는 것이다.
도 6은 일 실시예에 따른 S230에 대한 상세 흐름도이다. 벡터 생성부(231)는 클립 정보를 다차원 벡터로 변환한다(S231). 도 7에 예시된 바와 같이, 클립 정보인 “Thanks, Moana”와 “A girl and an old woman standing side to side”가 학습 모델(Trained Model)에 입력으로 주어져 벡터로 변환된다. 벡터 그룹화부(232)는 다차원 벡터를 클러스터링하여 도 8에서와 같이 그룹화한다(S232). 도 8에 예시된 바와 같이, 유사한 값을 갖는 벡터들끼리 그룹화된다. 그룹이 긍정적 감정 그룹과 부정적 감정 그룹 및 무감정 그룹일 경우에, 각각의 그룹에서 자주 나타나는 단어들이 도 9에 예시되어 있다. 매핑부(233)는 그룹별 고유 감정 항목에 따라 해당 클립 영상에 하나 이상의 감정 항목을 매핑한다(S233).
도 10은 클립 정보로부터 감정 단어를 추출하는 과정을 나타낸 예시도이다. 잘 알려진 바와 같이, 나이브 베이즈 분류기(Naive Bayes Classifier)는 감성 분석에 사용되는 알고리즘이다. 나이브 베이즈 분류기는 방대한 양의 데이터 셋(data set)을 학습하며, 이를 통해 학습 모델(Pre-trained Model)이 만들어진다. 클립 정보인 텍스트는 정규화(Normalization), 토큰화(Tokenization), 형태소 분석(Stemming)을 포함하는 전처리 과정을 통해 전처리되어 학습 모델에 입력되며, 학습 모델은 전처리된 텍스트를 처리하여 감정 단어(Emotion Word)를 내보낸다. 이 감정 단어가 상술한 벡터이다.
도 11은 일 실시예에 따른 사용자 선호 감정 정보 생성 방법 흐름도이다. 클립 생성부(100)는 사용자가 선호하는 하나 이상의 영상 콘텐츠에 대해 클립 영상들을 생성하며(S100), 클립 감정 매핑부(200)는 각각의 클립 영상을 분석하여 해당되는 감정 항목을 매핑한다(S200). 이는 상술한 바와 같다. 사용자가 선호하는 영상 콘텐츠에 대해 S100과 S200이 수행되면, 사용자가 선호하는 감정 항목이 어떠한 것인지 확인된다. 따라서, 사용자 선호 정보 생성부(300)는 S100과 S200을 통해 파악된 사용자가 선호하는 감정 항목으로 구성된 사용자 선호 감정 정보를 생성한다(S400).
한편, 상술한 방법은 컴퓨터 프로그램으로 작성이 가능하다. 이 같은 프로그램을 구성하는 코드들 및/또는 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 이 같은 프로그램은 컴퓨터가 읽을 수 있는 기록매체에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 그 방법이 구현될 수 있다. 이 같은 기록매체는 자기 기록매체, 광 기록매체 등일 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (11)

  1. 영상 콘텐츠로부터 복수의 클립 영상을 생성하는 클립 생성부;
    각각의 클립 영상을 분석하여 하나 이상의 감정 항목을 매핑하는 클립 감정 매핑부;
    사용자가 선호하는 하나 이상의 영상 콘텐츠를 구성하는 클립 영상들의 감정 항목에 근거하여 사용자 선호 감정 정보를 생성하는 사용자 선호 정보 생성부; 및
    타겟 동영상의 클립 영상들 중에서 사용자 선호 감정 정보에 속하는 감정 항목이 매핑된 클립 영상들을 이용하여 하이라이트 콘텐츠를 생성하는 하이라이트 생성부;
    를 포함하는 인공지능 기반 이미지 자동 생성 시스템.
  2. 제 1 항에 있어서,
    하이라이트 생성부는 각각의 클립 영상별로 프레임을 랜덤 추출하며, 랜덤 추출된 프레임들을 합성하여 단일 이미지로 이루어진 하이라이트 콘텐츠를 생성하는 인공지능 기반 이미지 자동 생성 시스템.
  3. 제 1 항에 있어서,
    하이라이트 생성부는 사용자 선호 감정 정보에 속하는 감정 항목이 매핑된 클립 영상들을 랜덤하게 선택하고 조합하여 하이라이트 콘텐츠를 생성하는 인공지능 기반 이미지 자동 생성 시스템.
  4. 제 1 항에 있어서, 클립 감정 매핑부는 :
    클립 영상을 분석하여 클립 정보를 생성하는 클립 정보 생성부; 및
    클립 정보에 근거하여 클립 영상별 하나 이상의 감정 항목을 매핑하는 감정 매핑부;
    를 포함하는 인공지능 기반 이미지 자동 생성 시스템.
  5. 제 4 항에 있어서, 감정 매핑부는 :
    클립 정보를 다차원 벡터로 변환하는 벡터 생성부;
    다차원 벡터를 클러스터링하여 그룹화하는 벡터 그룹화부; 및
    그룹별 고유 감정 항목에 따라 해당 클립 영상에 하나 이상의 감정 항목을 매핑하는 매핑부;
    를 포함하는 인공지능 기반 이미지 자동 생성 시스템.
  6. 타겟 동영상으로부터 복수의 클립 영상을 생성하는 클립 생성 단계;
    각각의 클립 영상을 분석하여 하나 이상의 감정 항목을 매핑하는 클립 감정 매핑 단계; 및
    타겟 동영상의 클립 영상들 중에서 사용자 선호 감정 정보에 속하는 감정 항목이 매핑된 클립 영상들을 이용하여 하이라이트 콘텐츠를 생성하는 하이라이트 생성 단계;
    를 포함하는 인공지능 기반 하이라이트 콘텐츠 생성 방법.
  7. 제 6 항에 있어서,
    하이라이트 생성 방법은 각각의 클립 영상별로 프레임을 랜덤 추출하며, 랜덤 추출된 프레임들을 합성하여 단일 이미지로 이루어진 하이라이트 콘텐츠를 생성하는 인공지능 기반 하이라이트 콘텐츠 생성 방법.
  8. 제 6 항에 있어서,
    하이라이트 생성 방법은 사용자 선호 감정 정보에 속하는 감정 항목이 매핑된 클립 영상들을 랜덤하게 선택하고 조합하여 하이라이트 콘텐츠를 생성하는 인공지능 기반 하이라이트 콘텐츠 생성 방법.
  9. 제 6 항에 있어서, 클립 감정 매핑 단계는 :
    클립 영상을 분석하여 클립 정보를 생성하는 클립 정보 생성 단계; 및
    클립 정보에 근거하여 클립 영상별 하나 이상의 감정 항목을 매핑하는 감정 매핑 단계;
    를 포함하는 인공지능 기반 하이라이트 콘텐츠 생성 방법.
  10. 제 7 항에 있어서, 감정 매핑 단계는 :
    클립 정보를 다차원 벡터로 변환하는 벡터 생성 단계;
    다차원 벡터를 클러스터링하여 그룹화하는 벡터 그룹화 단계; 및
    그룹별 고유 감정 항목에 따라 해당 클립 영상에 하나 이상의 감정 항목을 매핑하는 매핑 단계;
    를 포함하는 인공지능 기반 하이라이트 콘텐츠 생성 방법.
  11. 제 7 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020200010841A 2020-01-30 2020-01-30 인공지능 기반 이미지 자동 생성 시스템 KR20210097314A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200010841A KR20210097314A (ko) 2020-01-30 2020-01-30 인공지능 기반 이미지 자동 생성 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200010841A KR20210097314A (ko) 2020-01-30 2020-01-30 인공지능 기반 이미지 자동 생성 시스템

Publications (1)

Publication Number Publication Date
KR20210097314A true KR20210097314A (ko) 2021-08-09

Family

ID=77313295

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200010841A KR20210097314A (ko) 2020-01-30 2020-01-30 인공지능 기반 이미지 자동 생성 시스템

Country Status (1)

Country Link
KR (1) KR20210097314A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102600960B1 (ko) * 2022-10-19 2023-11-10 주식회사 뷰이 영상 콘텐츠 공유 서비스를 제공하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램
KR20240003078A (ko) 2022-06-30 2024-01-08 주식회사 에이치투시티랩 한국 산수화 자동 생성을 위한 장치 및 그 제어방법
KR20240003077A (ko) 2022-06-30 2024-01-08 주식회사 에이치투시티랩 한국 산수화 자동 생성을 위한 장치 및 그 제어방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150011652A (ko) 2013-07-23 2015-02-02 주식회사 케이티 클립 동영상을 생성하는 장치 및 방법, 그리고 미리보기 동영상을 제공하는 서버

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150011652A (ko) 2013-07-23 2015-02-02 주식회사 케이티 클립 동영상을 생성하는 장치 및 방법, 그리고 미리보기 동영상을 제공하는 서버

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240003078A (ko) 2022-06-30 2024-01-08 주식회사 에이치투시티랩 한국 산수화 자동 생성을 위한 장치 및 그 제어방법
KR20240003077A (ko) 2022-06-30 2024-01-08 주식회사 에이치투시티랩 한국 산수화 자동 생성을 위한 장치 및 그 제어방법
KR102600960B1 (ko) * 2022-10-19 2023-11-10 주식회사 뷰이 영상 콘텐츠 공유 서비스를 제공하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
KR102660124B1 (ko) 동영상 감정 학습용 데이터 생성 방법, 동영상 감정 판단 방법, 이를 이용하는 동영상 감정 판단 장치
US10341461B2 (en) System and method for automatically recreating personal media through fusion of multimodal features
US20230232078A1 (en) Method and data processing apparatus
KR20210097314A (ko) 인공지능 기반 이미지 자동 생성 시스템
CN112738556B (zh) 视频处理方法及装置
KR20210083706A (ko) 데이터의 범주를 분류하는 컴퓨팅 장치 및 방법
KR20200054613A (ko) 동영상 메타데이터 태깅 시스템 및 그 방법
CN111506794A (zh) 一种基于机器学习的谣言管理方法和装置
KR20200065832A (ko) 문서 데이터내 사진 이미지의 캡셔닝 자동 생성 시스템 및 방법
CN113923475B (zh) 一种视频合成方法及视频合成器
CN117173497B (zh) 一种图像生成方法、装置、电子设备及存储介质
KR20210047467A (ko) 이미지 다중 캡션 자동 생성 방법 및 시스템
JP2018169697A (ja) 映像データ処理装置、映像データ処理方法、及びコンピュータプログラム
CN113886568A (zh) 一种文本摘要的生成方法及装置
CN111800650B (zh) 视频配乐方法、装置、电子设备及计算机可读介质
JP2016081265A (ja) 映像選択装置、映像選択方法、映像選択プログラム、特徴量生成装置、特徴量生成方法及び特徴量生成プログラム
CN111931036A (zh) 一种多模态融合交互系统、方法、智能机器人及存储介质
KR20200073967A (ko) 인터랙티브 입력에 기반하여 이미지에서 목표 오브젝트를 결정하는 방법 및 장치
CN113099267B (zh) 视频生成方法、装置、电子设备及存储介质
WO2022059817A1 (ko) 이미지 및 동영상의 대사와 배경으로 알 수 있는 메타 정보 인지의 ai 최소 문맥 탐구 방법
JPH05233719A (ja) 複合的な情報間の関連性識別方法
CN116561294A (zh) 手语视频的生成方法、装置、计算机设备及存储介质
WO2020196929A1 (ko) 인공지능 기반 하이라이트 콘텐츠 생성 시스템
CN113704544A (zh) 一种视频分类方法、装置、电子设备和存储介质
WO2022059818A1 (ko) 동영상 검색에서 크라우드 메타 정보들의 서사 구성 방법