KR102476815B1 - 인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템 - Google Patents

인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR102476815B1
KR102476815B1 KR1020220119168A KR20220119168A KR102476815B1 KR 102476815 B1 KR102476815 B1 KR 102476815B1 KR 1020220119168 A KR1020220119168 A KR 1020220119168A KR 20220119168 A KR20220119168 A KR 20220119168A KR 102476815 B1 KR102476815 B1 KR 102476815B1
Authority
KR
South Korea
Prior art keywords
stock
frame
file
user
neural network
Prior art date
Application number
KR1020220119168A
Other languages
English (en)
Inventor
강윤석
Original Assignee
(주)슬레이트미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)슬레이트미디어 filed Critical (주)슬레이트미디어
Priority to KR1020220119168A priority Critical patent/KR102476815B1/ko
Application granted granted Critical
Publication of KR102476815B1 publication Critical patent/KR102476815B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

일실시예에 따른 장치는 사용자의 단말로부터 영상 콘텐츠를 획득하여, 영상 콘텐츠를 기초로, 텍스트 요소를 제거한 제1 파일을 생성하고, 제1 파일을 기초로, 화면 전환 시점을 판단하여, 프레임 단위의 이미지인 제2 파일을 생성하고, 제2 파일을 기초로, 디자인 요소를 추출하고, 제1 파일, 제2 파일, 디자인 요소를 스톡으로 분류하여, 스톡을 사용자의 단말로 제공한다.

Description

인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템 {METHODS, DEVICES AND SYSTEMS FOR AUTOMATICALLY EXTRACTING STOCK IMAGES BASED ON ARTIFICIAL INTELLIGENCE}
아래 실시예들은 인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템에 관한 것이다.
스톡 이미지, 영상, 비디오란 10~60초 내외의 이미지, 동영상 촬영 소스로서, 영상 제작이나 편집에 사용 가능한 영상 소스들을 의미한다. 영상을 제작할 때 모든 영상을 촬영할 수 없기 때문에, 영상 제작자는 타인이 촬영하여 업로드한 스톡 이미지, 영상, 비디오를 일정한 금액을 지불하여 구매하여 자신의 영상 제작에 합법적으로 사용 가능하다.
최근에는 유튜브, 넷플릭스, 페이스북 등 콘텐츠를 접할 수 있는 플랫폼이 커지면서, 개인 영상 컨텐츠 제작 등 콘텐츠 산업에 종사하는 사람이 증가하고 있으며, 고가의 카메라 혹은 DSLR(Digital Single Lens Reflex), 미러리스 카메라뿐만 아니라 스마트폰 카메라로도 고퀄리티의 영상을 찍을 수 있게 되어, 누구나 쉽게 스톡 이미지, 영상, 비디오의 제작이 가능해졌다.
또한, 지식 정보인 텍스트, 문서들이 디지털 영상 및 콘텐츠로 전환되며 영상 콘텐츠는 점점 더 증가하고 있다.
그러나, 콘텐츠 제작 시장이 커지는 반면, 콘텐츠에 사용할 수 있는 스톡을 검색하고, 사용자가 스톡을 추출하기 위해서 소요되는 시간은 여전히 효율성 및 경제성이 떨어진다.
따라서, 인공지능을 기반으로 영상 콘텐츠 내에 포함된 스톡을 자동으로 추출하는 기술이 요구된다.
한국등록특허 제 10-2179591호 한국등록특허 제 10-2338372호 한국등록특허 제 10-1793653호 한국등록특허 제 10-1732359호
실시예들은 인공지능을 기반으로 하여 영상 콘텐츠에 포함된 스톡 이미지를 자동으로 추출하고자 한다.
실시예들은 영상 콘텐츠 내의 텍스트 요소를 제거하여 비디오 파일 형식의 스톡을 추출하고, 비디오 파일 형식의 스톡에서 이미지 형식의 스톡을 추출하고, 이미지 형식의 스톡에서 객체 형식의 스톡을 추출하고자 한다.
실시예들은 추출된 스톡이 구매 사이트에 업로드 된 경우, 구매자의 구매 히스토리를 통해 구매자에게 적합한 스톡을 추천하고자 한다.
인공지능 기반 스톡 이미지 자동 추출 방법은 사용자의 단말로부터 영상 콘텐츠를 획득하는 단계; 상기 영상 콘텐츠를 기초로, 텍스트 요소를 제거한 제1 파일을 생성하는 단계; 상기 제1 파일을 기초로, 화면 전환 시점을 판단하여, 프레임 단위의 이미지인 제2 파일을 생성하는 단계; 상기 제2 파일을 기초로, 디자인 요소를 추출하는 단계; 상기 제1 파일, 상기 제2 파일 및 상기 디자인 요소를 스톡으로 분류하는 단계; 및 상기 스톡을 상기 사용자의 단말로 제공하는 단계;를 포함한다.
상기 제1 파일을 생성하는 단계는, 상기 영상 콘텐츠를 기초로, 미리 설정된 제1 주기마다 프레임을 추출하는 단계, 제1 인공 신경망 및 OCR을 이용하여 상기 추출된 프레임에 텍스트 요소가 포함되어 있는지 여부를 탐지하는 단계, 상기 추출된 프레임에 포함된 텍스트 요소를 제거하는 단계, 제2 인공 신경망을 이용하여 상기 추출된 프레임을 참조하여 상기 텍스트 요소가 제거된 부분을 채워 수정된 프레임을 생성하는 단계, 및 상기 추출된 프레임을 상기 수정된 프레임으로 대체하여 상기 제1 파일을 생성하는 단계를 포함하고, 상기 제1 인공 신경망은, 합성곱 신경망(CNN; convolutional neural network)을 포함하고, 상기 제2 인공 신경망은, 적대적 생성 신경망(GAN; generation adversarial network)을 포함한다.
상기 제2 파일을 생성하는 단계는, 상기 제1 파일에서 미리 설정된 제2 주기마다 프레임을 추출하는 단계, 상기 추출된 프레임에 포함된 A 프레임과 상기 A 프레임 다음으로 추출된 B 프레임을 획득하는 단계, 상기 A 프레임에 대응하는 제1 잠재 벡터 값을 획득하고, 상기 B 프레임에 대응하는 제2 잠재 벡터 값을 획득하는 단계, 상기 제1 잠재 벡터 값과 상기 제2 잠재 벡터 값을 기초로, 상기 A 프레임과 상기 B 프레임 간의 코사인 유사도를 분석하는 단계, 상기 코사인 유사도가 미리 설정된 기준 값 보다 큰지 여부를 판단하는 단계, 상기 코사인 유사도가 미리 설정된 기준 값보다 크다고 판단하면, 상기 A 프레임과 상기 B 프레임 간의 화면 전환이 되지 않았다고 판단하고, 상기 추출된 프레임 내에서 상기 A 프레임을 유지하고, 상기B 프레임을 제거하는 단계, 및 상기 코사인 유사도가 미리 설정된 기준 값보다 크다고 판단하면, 상기 A 프레임과 상기 B 프레임 간의 화면 전환이 되었다고 판단하고, 상기 추출된 프레임 내에서 상기 A 프레임 및 상기 B 프레임을 모두 유지하는 단계를 포함하고, 상기 A 프레임 및 상기 B 프레임 중 적어도 하나를 포함시켜 상기 제2 파일을 생성한다.
상기 제2 파일을 기초로, 디자인 요소를 추출하는 단계는, 상기 제2 파일을 기초로, 입력 신호를 생성하는 단계, 상기 입력 신호를 제3 인공신경망에 적용하여 출력 신호를 획득하는 단계, 상기 출력 신호에 기반하여 디자인 요소가 존재하는지 확인하는 단계, 및 상기 디자인 요소가 존재하는 것에 기반하여, 상기 디자인 요소의 경계를 이용하여 상기 디자인 요소를 추출하는 단계를 포함한다.
인공지능 기반 스톡 이미지 자동 추출 방법은 상기 스톡을 구매한 구매자의 구매 히스토리를 확인하는 단계; 상기 구매 히스토리를 이용하여 상기 구매자가 구매한 스톡을 업로드한 사용자를 확인하여 구매 스톡 업로드 사용자로 리스팅하는 단계; 상기 구매 스톡 업로드 사용자 중 상위 사용자가 제작한 스톡을 제1 리스트로 리스팅하는 단계; 상기 제1 리스트에서 상기 구매자와 국가가 다른 사용자를 제외하여 제2 리스트로 리스팅하는 단계; 상기 구매 히스토리를 이용하여 상기 구매자의 선호 스톡 카테고리를 확인하고, 상기 제2 리스트를 상기 선호 스톡 카테고리로 정렬하는 단계; 및 상기 정렬된 제2 리스트를 상기 구매자의 단말로 제공하는 단계;를 더 포함한다.
인공지능 기반 스톡 이미지 자동 추출 방법은 상기 구매자의 단말을 통해 상기 제2 리스트에 포함된 제1 스톡이 선택되면, 상기 제1 스톡과 매칭된 제1 카테고리를 획득하는 단계; 상기 제1 카테고리를 기초로, 데이터베이스에 저장된 스톡 중 상기 제1 카테고리를 포함하는 유사 스톡을 추출하는 단계; 및 상기 유사 스톡을 상기 구매자의 단말로 제공하는 단계;를 더 포함한다.
인공지능 기반 스톡 이미지 자동 추출 방법은 상기 스톡을 구매한 구매자의 구매 히스토리를 확인하는 단계; 상기 구매 히스토리를 이용하여 상기 구매자의 선호 스톡 카테고리 및 상기 선호 스톡 카테고리에 대응하는 선호 태그를 확인하는 단계; 상기 구매자의 단말에 저장된 영상에서 미리 설정된 제3 주기마다 프레임을 추출하는 단계; 상기 추출된 프레임을 제4 인공 신경망에 적용하여 객체를 추출하는 단계; 상기 추출된 객체을 제5 인공 신경망에 적용하여 상기 추출된 객체의 카테고리 및 태그를 확인하는 단계; 상기 추출된 객체의 카테고리 및 태그를 상기 선호 스톡 카테고리 및 선호 태그와 비교하는 단계; 및 상기 비교에 기반하여, 상기 추출된 객체를 상기 구매자의 단말에 저장하는 단계;를 더 포함한다.
상기 제2 파일을 생성하는 단계는, 상기 A 프레임에서 배경이 차지하고 있는 영역을 제1 영역으로 구분하고, 상기 A 프레임에서 상기 제1 영역이 있는 부분을 분할하여 제1-1 이미지를 추출하는 단계; 상기 제1-1 이미지에 출연자가 있는 것으로 확인되면, 상기 제1-1 이미지에서 출연자가 차지하고 있는 영역을 제2 영역으로 구분하는 단계; 상기 제1 파일을 상기 A 프레임이 재생되는 시점인 제1 시점으로부터 시간상 역순으로 재생하여 분석한 결과, 제2 시점에 상기 제2 영역 내에 상기 출연자가 없는 것으로 확인되면, 상기 비디오 파일에서 상기 제2 시점의 프레임을 C 프레임으로 추출하는 단계; 상기 C 프레임에서 상기 제2 영역이 있는 부분을 분할하여 제2-1 이미지를 추출하는 단계; 및 상기 제1-1 이미지에서 상기 제2 영역이 있는 부분을 상기 제2-1 이미지로 교체하는 단계를 더 포함한다.
일실시예에 따른 장치는 하드웨어와 결합되어 상술한 방법들 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램에 의해 제어될 수 있다.
실시예들은 인공지능을 기반으로 하여 영상 콘텐츠에 포함된 스톡 이미지를 자동으로 추출할 수 있다.
실시예들은 영상 콘텐츠 내의 텍스트 요소를 제거하여 비디오 파일 형식의 스톡을 추출하고, 비디오 파일 형식의 스톡에서 이미지 형식의 스톡을 추출하고, 이미지 형식의 스톡에서 객체 형식의 스톡을 추출할 수 있다.
실시예들은 추출된 스톡이 판매 사이트에 업로드 된 경우, 구매자의 구매 히스토리를 통해 구매자에게 적합한 스톡을 추천할 수 있다.
실시예들은 구매자의 구매 히스토리를 통해 구매자의 단말에 저장된 영상에서 스톡을 추출할 수 있다.
한편, 실시예들에 따른 효과들은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 해당 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 일실시예에 따른 인공지능 기반 스톡 이미지를 자동으로 추출하는 과정을 설명하기 위한 순서도이다.
도 3은 일실시예에 따른 영상 콘텐츠의 텍스트 요소를 제거하여 스톡을 생성하는 과정을 설명하기 위한 순서도이다.
도 4는 일실시예에 따른 화면 전환 시점을 판단하여 스톡을 생성하는 과정을 설명하기 위한 순서도이다.
도 5는 일실시예에 따른 디자인 요소를 추출하여 스톡을 생성하는 과정을 설명하기 위한 순서도이다.
도 6은 일실시예에 따른 추출된 스톡이 판매 사이트를 통해 판매되는 경우 구매자의 구매 히스토리를 확인하여 구매자에게 적합한 스톡 리스트를 제공하는 과정을 설명하기 위한 순서도이다.
도 7은 일실시예에 따른 구매자로부터 선택된 스톡과 유사한 스톡을 함께 제공하는 과정을 설명하기 위한 순서도이다.
도 8은 일실시예에 따른 구매자의 선호 스톡 카테고리 및 선호 태그를 기초로 구매자의 단말에 저장된 영상을 스톡으로 추출하는 과정을 설명하기 위한 순서도이다.
도 9는 일실시예에 따른 스톡에 출연자가 포함되어 있다고 판단하면 출연자가 없는 영역으로 대체하는 과정을 설명하기 위한 순서도이다.
도 10은 일실시예에 따른 장치의 구성의 예시도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.
도 1은 일실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 일실시예에 따른 시스템은 통신망을 통해 서로 통신 가능한 사용자의 단말(100), 구매자의 단말(300) 및 장치(200)를 포함할 수 있다.
먼저, 통신망은 유선 및 무선 등과 같이 그 통신 양태를 가리지 않고 구성될 수 있으며, 서버와 서버 간의 통신과 서버와 단말 간의 통신이 수행되도록 다양한 형태로 구현될 수 있다.
사용자의 단말(100)은 영상 콘텐츠를 통해 스톡을 자동으로 추출하고자 하는 사용자가 사용하는 단말로, 데스크탑 컴퓨터, 노트북, 태블릿, 스마트폰 등일 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 사용자의 단말(100)은 스마트폰일 수 있으며, 실시예에 따라 달리 채용될 수도 있다.
구매자의 단말(300)은 스톡이 판매 사이트에 업로드 된 경우, 판매 사이트를 통해 스톡을 구매하고자 하는 구매자가 사용하는 단말로, 데스크탑 컴퓨터, 노트북, 태블릿, 스마트폰 등일 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 사용자의 단말(300)은 스마트폰일 수 있으며, 실시예에 따라 달리 채용될 수도 있다.
사용자의 단말(100) 및 구매자의 단말(300)은 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 사용자의 단말(100) 및 구매자의 단말(300)은 장치(200)와 유무선으로 통신하도록 구성될 수 있다.
사용자의 단말(100) 및 구매자의 단말(300)은 장치(200)를 이용하여 서비스를 제공하는 자 내지 단체가 운영하는 웹 사이트에 접속되거나, 장치(200)를 이용하여 서비스를 제공하는 자 내지 단체가 개발·배포한 애플리케이션이 설치될 수 있다. 사용자의 단말(100) 및 구매자의 단말(300)은 웹 사이트 또는 애플리케이션을 통해 장치(200)와 연동될 수 있다.
도1 및 이하의 설명에서는, 설명의 편의상, 사용자의 단말(100) 및 구매자의 단말(300)을 각각 하나씩만을 도시하였으나, 단말들의 수는 실시예에 따라 얼마든지 달라질 수 있다. 장치(200)의 처리 용량이 허용하는 한, 단말들의 수는 특별한 제한이 없다.
장치(200)는 장치(200)를 이용하여 서비스를 제공하는 자 내지 단체가 보유한 자체 서버일수도 있고, 클라우드 서버일 수도 있고, 분산된 노드(node)들의 p2p(peer-to-peer) 집합일 수도 있다. 장치(200)는 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 장치(200)는 추론 기능을 수행하는 적어도 하나 이상의 인공신경망을 구비할 수 있다. 장치(200)는 사용자의 단말(100) 및 구매자의 단말(300)과 유무선으로 통신하도록 구성될 수 있다.
장치(200)는 사용자의 단말(100)로부터 영상 콘텐츠를 획득하여, 영상 콘텐츠를 기초로, 텍스트 요소를 제거한 제1 파일을 생성하고, 제1 파일을 기초로, 화면 전환 시점을 판단하여, 프레임 단위의 이미지인 제2 파일을 생성하고, 제2 파일을 기초로, 디자인 요소를 추출하고, 제1 파일, 제2 파일, 디자인 요소를 스톡으로 분류하여, 스톡을 사용자의 단말(100)로 제공한다.
또한, 장치(200)는 사용자의 단말(100)로부터 획득한 영상 콘텐츠를 통해 스톡을 추출하면, 사용자의 입력에 따라 추출된 스톡을 판매 사이트에 업로드 할 수 있고, 해당 판매 사이트를 통해 스톡을 구매한 구매자의 구매 히스토리를 저장하여 구매자의 구매 히스토리를 기초로, 구매자가 구매할 가능성이 있는 스톡을 포함하는 리스트를 생성하여 구매자의 단말(300)로 해당 리스트를 제공할 수 있다.
본 발명에서, 인공지능(Artificial Intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력 등을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직(Symbolic Logic) 등의 개념을 포함할 수 있다. 기계 학습(Machine Learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터를 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야가 포함될 수 있다.
기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화해 나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.
인공지능 학습모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 인공지능 학습모델은, 예를 들어, 인공 신경망 모델(Artificial Neural Network), 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 등일 수 있다. 일 실시예로서, 인공지능 학습모델은, 지도학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등의 방식에 따라 기계 학습될 수 있다. 기계 학습을 수행하기 위한 기계 학습 알고리즘에는, 의사결정트리(Decision Tree), 베이지안 망(Bayesian Network), 서포트 벡터 머신(Support Vector Machine), 인공 신경망(Artificial Neural Network), 에이다부스트(Ada-boost), 퍼셉트론(Perceptron), 유전자 프로그래밍(Genetic Programming), 군집화(Clustering) 등이 사용될 수 있다.
이중, CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.
컨볼루션 네트워크는 묶인 파라미터들을 가지는 노드들의 집합들을 포함하는 신경 네트워크들이다. 사용 가능한 트레이닝 데이터의 크기 증가와 연산 능력의 가용성이, 구분적 선형 단위 및 드롭아웃 트레이닝과 같은 알고리즘 발전과 결합되어, 많은 컴퓨터 비전 작업들이 크게 개선되었다. 오늘날 많은 작업에 사용할 수 있는 데이터 세트들과 같은 엄청난 양의 데이터 세트에서는 초과 맞춤(outfitting)이 중요하지 않으며, 네트워크의 크기를 늘리면 테스트 정확도가 향상된다. 컴퓨팅 리소스들의 최적 사용은 제한 요소가 된다. 이를 위해, 심층 신경 네트워크들의 분산된, 확장 가능한 구현예가 사용될 수 있다.
도 2는 일실시예에 따른 인공지능 기반 스톡 이미지를 자동으로 추출하는 과정을 설명하기 위한 순서도이다.
도 2를 참조하면, 먼저 S201 단계에서, 장치(200)는 사용자의 단말(100)로부터 영상 콘텐츠를 획득할 수 있다. 여기서, 영상 콘텐츠의 확장자는 AVI · MP4 · mkv · WMV · MOV · FLV.를 포함할 수 있다.
구체적으로, 장치(200)는 사용자의 단말(100)로부터 AVI · MP4 · mkv · WMV · MOV · FLV. 중 하나의 확장자를 포함하는 영상 콘텐츠를 획득할 수 있다.
S202 단계에서, 장치(200)는 영상 콘텐츠를 기초로, 텍스트 요소를 제거한 제1 파일을 생성할 수 있다.
구체적으로, 장치(200)는 사용자의 단말(100)로부터 획득한 영상 콘텐츠에서 인공 신경망 및 OCR을 통해 텍스트 요소를 탐지하고, 텍스트 요소가 탐지된 경우, 텍스트 요소를 영상 콘텐츠에서 제거할 수 있다. 또한, 장치(200)는 텍스트 요소가 제거된 부분을 인공 신경망을 통해 메꿀 수 있고, 수정된 영상 콘텐츠를 제1 파일로 생성할 수 있다. 이와 관련하여 구체적인 설명은 도 3을 참조하여 하기로 한다.
S203 단계에서, 장치(200)는 제1 파일을 기초로, 화면 전환 시점을 판단하여 프레임 단위의 이미지인 제2 파일을 생성할 수 있다.
구체적으로, 장치(200)는 제1 파일에서 미리 설정된 주기마다 프레임을 추출하여 추출된 프레임을 기초로, A 프레임과 A 프레임 다음에 추출된 B 프레임을 획득할 수 있고, A 프레임과 B 프레임 간의 유사도를 분석하여, 유사도를 기초로 화면이 전환되었는지 여부를 판단할 수 있다. 장치(200)는 A 프레임과 B 프레임 간의 유사도를 기초로 화면이 전환되었다고 판단하면, A 프레임과 B 프레임을 유지하고, 화면이 전환되지 않았다고 판단하면, A 프레임은 유지하고, B 프레임은 삭제할 수 있다. 또한, 장치(200)는 A 프레임과 B 프레임 중 적어도 하나를 포함시켜 제2 파일을 생성할 수 있다. 이와 관련하여 구체적인 설명은 도 4를 참조하여 하기로 한다.
S204 단계에서, 장치(200)는 제2 파일을 기초로, 디자인 요소를 추출할 수 있다
구체적으로, 장치(200)는 제2 파일을 인공신경망에 적용하여 디자인 요소가 존재하는지 확인하고, 디자인 요소가 존재하는 것에 기반하여 디자인 요소의 경계를 이용하여 디자인 요소를 추출할 수 있다. 이와 관련하여 구체적인 설명은 도 5를 참조하여 하기로 한다.
S205 단계에서, 장치(200)는 제1 파일, 제2 파일 및 디자인 요소를 스톡으로 분류할 수 있다.
즉, 장치(200)는 영상 콘텐츠를 통해 획득한 비디오 클립 형식의 제1 파일, 제1 파일을 통해 획득한 이미지 형식의 제2 파일, 제2 파일을 통해 획득한 객체 형식의 디자인 요소를 스톡으로 분류할 수 있다.
S206 단계에서, 장치(200)는 스톡을 사용자의 단말(100)로 제공할 수 있다.
도 3은 일실시예에 따른 영상 콘텐츠의 텍스트 요소를 제거하여 스톡을 생성하는 과정을 설명하기 위한 순서도이다.
도 3을 참조하면, 먼저, S301 단계에서 장치(200)는 영상 콘텐츠를 기초로, 제1 주기마다 프레임을 추출할 수 있다. 여기서, 제1 주기는 미리 설정된 주기로 실시 예에 따라 달라질 수 있다.
S302 단계에서, 장치(200)는 제1 인공 신경망 및 OCR을 이용하여 추출된 프레임에 텍스트 요소가 포함되어 있는지 여부를 탐지할 수 있다. 이 때, 제1 인공 신경망은 합성곱 신경망(CNN; convolutional neural network)을 포함할 수 있다.
일실시예에 따르면, 제1 인공 신경망은 합성곱 신경망으로 구현되어, 컨볼루션 신경망은 특징 추출 신경망과 분류 신경망으로 구성되어 있으며, 특징 추출 신경망은 입력 신호를 컨볼루션 계층과 풀링 계층을 차례로 쌓아 진행한다. 컨볼루션 계층은 컨볼루션 연산, 컨볼루션 필터 및 활성함수를 포함하고 있다. 컨볼루션 필터의 계산은 대상 입력의 행렬 크기에 따라 조절되나 일반적으로 9X9 행렬을 사용한다. 활성 함수는 일반적으로 ReLU 함수, 시그모이드 함수, 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 풀링 계층은 입력의 행렬 크기를 줄이는 역할을 하는 계층으로, 특정 영역의 픽셀을 묶어 대표값을 추출하는 방식을 사용한다. 풀링 계층의 연산에는 일반적으로 평균값이나 최대값을 많이 사용하나 이에 한정하지 않는다. 해당 연산은 정방 행렬을 사용하여 진행되는데, 일반적으로 9X9 행렬을 사용한다. 컨볼루션 계층과 풀링 계층은 해당 입력이 차이를 유지한 상태에서 충분히 작아질 때까지 번갈아 반복 진행된다.
일실시예에 따르면, 분류 신경망은 은닉층과 출력층을 가지고 있다. 인공지능 기반 스톡 이미지 자동 추출 방법을 위한 컨볼루션 신경망에서는 일반적으로 은닉층이 3개 이상 존재하며, 각 은닉층의 노드는 100개로 지정하나 경우에 따라 그 이상으로 정할 수 있다. 은닉층의 활성함수는 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 컨볼루션 신경망의 출력층 노드는 총 50개로 할 수 있다.
제1 인공 신경망은 제1 학습 장치에 의해 학습되며, 제1 학습 장치는 프레임에 포함된 텍스트 객체의 인식을 위하여 제1 인공 신경망을 학습시킬 수 있다. 일 실시예에 따르면, 제1 학습 장치는 장치(200)와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니다.
제1 인공 신경망은 트레이닝 샘플들이 입력되는 입력 레이어와 트레이닝 출력들을 출력하는 출력 레이어를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 텍스트 객체에 대응하는 글꼴 정보에 기초하여 정의될 수 있다. 제1 인공 신경망은 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다.
제1 학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 제1 인공 신경망을 학습시킬 수 있다. 제1 학습 장치는 뉴럴 네트워크의 출력들 및 레이블들 의해 설계된 손실 함수(Loss Function)를 이용할 수 있다.
제1 학습 장치는 미리 정의된 손실 함수를 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 제1 인공 신경망 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.
제1 학습 장치는 역전파(Backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 제1 인공 신경망 내 노드들 사이의 관계들이다. 제1 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.
일 실시예에 따르면, 제1 학습 장치는 트레이닝 프레임들을 획득하고, 트레이닝 프레임들로부터 트레이닝 텍스트 객체들을 추출할 수 있다. 제1 학습 장치는 트레이닝 텍스트 객체들에 대해서 각각 미리 레이블링 된 정보(제1 레이블들)를 획득할 수 있는데, 트레이닝 텍스트 객체들에 미리 정의된 글꼴 정보 나타내는 제1 레이블들을 획득할 수 있다.
일 실시예에 따르면, 제1 학습 장치는 트레이닝 텍스트 객체들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.
일 실시예에 따르면, 제1 학습 장치는 제1 트레이닝 특징 벡터들을 제1 인공 신경망에 적용하여 트레이닝 출력들을 획득할 수 있다. 제1 학습 장치는 트레이닝 출력들과 제1 레이블들에 기초하여 제1 인공 신경망을 학습시킬 수 있다. 제1 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 제1 인공 신경망 내 노드들의 연결 관계를 최적화하여 제1 인공 신경망을 학습시킬 수 있다. 장치(200)는 학습이 완료된 제1 인공 신경망을 이용하여 프레임에 포함된 텍스트 객체를 인식할 수 있다.
일실시예에 따르면, 광학 문자 인식(Optical character recognition; OCR)은 사람이 쓰거나 기계로 인쇄한 문자의 영상을 이미지 스캐너로 획득하여 기계가 읽을 수 있는 문자로 변환하는 것으로, 공지의 OCR 모델을 사용하여 구성될 수 있다.
S303 단계에서, 장치(200)는 추출된 프레임에 포함된 텍스트 요소를 제거할 수 있다.
구체적으로, 장치(200)는 제1 인공 신경망 및 OCR을 이용하여 추출된 프레임에 텍스트 요소가 포함되어 있는지 여부를 탐지하고, 추출된 프레임에 텍스트 요소가 포함되어 있다고 판단하면, 추출된 프레임 내에 검출된 텍스트 요소를 제거할 수 있다.
S304 단계에서, 장치(200)는 제2 인공 신경망을 이용하여 추출된 프레임을 참조하여 텍스트 요소가 제거된 부분을 채워 수정된 프레임을 생성할 수 있다. 여기서, 제2 인공 신경망은 적대적 생성 신경망(GAN; generation adversarial network)을 포함할 수 있다.
일실시예에 따르면, 제2 인공 신경망은 GAN(Generative Adversarial Network, 적대적 생성 신경망)으로 구현되며, 적대적 생성 신경망은 이미지를 생성하는 생성자(Generator)와 생성자가 만든 이미지의 진위여부를 판별하는 판별자(Discriminator)를 두고 비지도학습 방법인 적대적 학습법(adversarial training)을 진행하여 생성자가 만든 이미지가 판별자의 판별 정확도를 절반가량으로 낮춰 생성자가 실제 이미지와 구분이 어려운 이미지를 만들어내도록 하는 알고리즘이다.
GAN은 한 개의 인공 신경망을 학습시켜서 활용하는 기존의 방법과는 다르게 두 개의 인공 신경망을 활용한다. 하나는 이미지를 생성하는 생성(Generative) 신경망, 다른 하나는 생성 신경망이 만든 이미지를 진짜인지, 가짜인지 판별하는 판별(Discriminative) 신경망이다. 생성 신경망은 판별 신경망이 자신이 만든 이미지를 진짜 이미지로 판별하도록 학습되어야 하고, 판별 신경망은 생성 신경망이 만든 이미지가 입력으로 들어오면 가짜라고 판별하고 실제 이미지가 입력으로 들어오면 진짜라고 판별하도록 학습되어야 한다. 따라서 이 두 개의 신경망은 서로 적대적인 관계에 있으므로 이를 학습시키는 방법을 이른바 adversarial training이라고 한다.
학습의 방향은 생성 신경망과 판별 신경망이 서로 반대가 된다. 생성 신경망은 자신이 만든 최종 결과가 판별 신경망이 진짜 이미지라고 판별하도록 학습 방향이 진행되고, 판별 신경망은 반대로 생성 신경망이 만든 결과가 가짜 이미지라고 판별하도록 학습 방향이 진행되게 된다. 이러한 adversarial training이 충분히 진행되면 최종적으로는, 판별 신경망이 생성 신경망이 만든 이미지가 진짜인지 가짜인지를 알아맞히게 되는 확률이 약 50%가 되고, 따라서 생성 신경망이 만든 이미지는 진짜와 거의 구분되지 않는 이미지가 된다.
따라서, 장치(200)는 텍스트 요소가 제거된 프레임을 제2 인공 신경망인 적대적 생성 신경망에 적용하여 텍스트 요소가 제거된 부분을 채워 수정된 프레임을 생성할 수 있다.
S305 단계에서, 장치(200)는 추출된 프레임을 수정된 프레임으로 대체하여 제1 파일을 생성할 수 있다.
구체적으로, 장치(200)는 영상 콘텐츠를 통해 프레임을 추출하고, 합성곱 신경망과 OCR을 통해 텍스트 요소를 탐지 및 제거하고, 적대적 신경망을 통해 텍스트 요소가 제거된 부분을 수정하고, 기존의 추출된 프레임을 상기 과정을 통해 수정된 프레임으로 대체하여 제1 파일을 생성할 수 있다.
즉, 장치(200)는 텍스트 요소가 제거된 제1 파일을 생성하여 스톡으로 생성할 수 있다.
도 4는 일실시예에 따른 화면 전환 시점을 판단하여 스톡을 생성하는 과정을 설명하기 위한 순서도이다.
도 4를 참조하면, 먼저, S401 단계에서, 장치(200)는 제1 파일에서 제2 주기마다 프레임을 추출할 수 있다. 여기서, 제2 주기는 미리 설정된 주기로 실시 예에 따라 달라질 수 있다.
구체적으로, 장치(200)는 제1 파일에서 미리 설정된 제2 주기마다 스톡으로 사용하고자 하는 프레임을 추출할 수 있다. 예를 들어, 제2 주기를 설정하는 방법은 프레임이 많이 바뀌는 다채로운 프로그램일 경우, 프레임이 적게 바뀌는 단조로운 프로그램보다 주기를 짧게 하여 많은 프레임 샘플들을 추출할 수 있다.
S402 단계에서, 장치(200)는 추출된 프레임에 포함된 A 프레임과 A 프레임 다음으로 추출된 B 프레임을 획득할 수 있다.
예를 들어, 제1 파일을 통해 제2 주기마다 프레임을 추출하여 A 프레임, B 프레임, C 프레임, D 프레임, E 프레임, F 프레임, G 프레임이 추출된 경우, 장치(200)는 추출된 프레임에 포함된 A 프레임과 A 프레임 다음으로 추출된 B 프레임을 획득할 수 있다.
S403 단계에서, 장치(200)는 A 프레임에 대응하는 제1 잠재 벡터 값을 획득할 수 있고, B 프레임에 대응하는 제2 잠재 벡터 값을 획득할 수 있다.
구체적으로, 장치(200)는 A 프레임과 B 프레임 간의 유사도를 확인하여 화면 전환이 있었는지 판단하기 위해 A 프레임에 대응하는 제1 잠재 벡터 값과, B 프레임에 대응하는 제2 잠재 벡터 값을 획득할 수 있다.
S404 단계에서, 장치(200)는 제1 잠재 벡터 값과 제2 잠재 벡터 값을 기초로, A 프레임과 B 프레임 간의 코사인 유사도를 분석할 수 있다. 여기서, 코사인 유사도는 두 벡터 간의 코사인 각도를 이용하여 구할 수 있는 두 벡터의 유사도를 의미합니다. 두 벡터의 방향이 완전히 동일한 경우에는 1의 값을 가지며, 90°의 각을 이루면 0, 180°로 반대의 방향을 가지면 -1의 값을 갖게 됩니다. 즉, 결국 코사인 유사도는 -1 이상 1 이하의 값을 가지며 값이 1에 가까울수록 유사도가 높다고 판단할 수 있습니다. 이를 직관적으로 이해하면 두 벡터가 가리키는 방향이 얼마나 유사한가를 의미합니다.
구체적으로, 장치(200)는 A 프레임과 B 프레임 간의 유사도를 확인하여 화면 전환이 있었는지 판단하기 위해 A 프레임에 대응하는 제1 잠재 벡터 값과, B 프레임에 대응하는 제2 잠재 벡터 값을 획득할 수 있고, 획득한 제1 잠재 벡터 값과 제2 잠재 벡터 값을 기초로, A 프레임과 B 프레임 간의 코사인 유사도를 생성할 수 있다.
S405 단계에서, 장치(200)는 A 프레임과 B 프레임 간의 코사인 유사도가 기준 값보다 큰지 여부를 판단할 수 있다. 여기서 기준 값은 미리 설정된 값으로 실시 예에 따라 달라질 수 있다.
S405 단계에서 A 프레임과 B 프레임 간의 코사인 유사도가 기준 값보다 크다고 판단되면, S406 단계에서, 장치(200)는 A 프레임과 B 프레임 간의 화면 전환이 되지 않았다고 판단하고, 추출된 프레임 내에서 A 프레임을 유지하고 B프레임을 제거할 수 있다.
예를 들어, A 프레임과 B 프레임 간의 코사인 유사도가 0.9이고, 기준 값이 0.75인 경우, 장치(200)는 코사인 유사도인 0.9가 기준 값인 0.75보다 크다고 판단하여, A 프레임과 B 프레임 간의 화면 전환이 되지 않았다고 판단하고, 추출된 프레임 내에서 A 프레임을 유지하고 B프레임을 제거할 수 있다.
S405 단계에서 A 프레임과 B 프레임 간의 코사인 유사도가 기준 값보다 크지 않다고 판단되면, S406 단계에서, 장치(200)는 A 프레임과 B 프레임 간의 화면 전환이 되었다고 판단하고, 추출된 프레임 내에서 A 프레임 및 B프레임을 모두 유지할 수 있다.
예를 들어, A 프레임과 B 프레임 간의 코사인 유사도가 -0.3이고, 기준 값이 0.75인 경우, 장치(200)는 코사인 유사도인 -0.3이 기준 값인 0.75보다 작다고 판단하여, A 프레임과 B 프레임 간의 화면 전환이 되었다고 판단하고, 추출된 프레임 내에서 A 프레임 및 B프레임을 모두 유지할 수 있다.
또한, 장치(200)는 이와 같이 추출된 프레임 내에서 제거된 프레임을 제외하고, 유지된 프레임을 포함시켜 제2 파일을 생성할 수 있다.
도 5는 일실시예에 따른 디자인 요소를 추출하여 스톡을 생성하는 과정을 설명하기 위한 순서도이다.
도 5를 참조하면, 먼저, S501 단계에서 장치(200)는 제2 파일을 기초로, 입력 신호를 생성할 수 있다.
구체적으로, 장치(200)는 제2 파일을 전처리하는 과정을 수행할 수 있고, 전처리가 수행된 제2 파일은 제3 인공 신경망의 입력으로 그대로 사용하거나 불필요한 정보를 제거하는 통상의 처리를 거쳐 입력 신호를 생성할 수 있다. 구체적으로, 장치(200)는 제2 파일을 인코딩하여 입력 신호를 생성할 수 있고, 제2 파일의 픽셀의 색 정보로 인코딩하여 입력 신호를 생성할 수 있다. 색 정보는 RGB 색상 정보, 명도 정보, 채도 정보를 포함할 수 있으나, 이에 국한하지 않는다. 장치(200)는 색 정보를 수치화된 값으로 환산할 수 있으며, 이 값을 포함한 데이터 시트 형태로 제2 파일을 인코딩할 수 있다.
S502 단계에서, 장치(200)는 입력 신호를 제3 인공 신경망에 적용하여 출력 신호를 획득할 수 있다.
여기서, 제3 인공 신경망은 입력된 제2 파일에 따라 디자인 요소가 존재하는지 추론하는 인공지능 모델로, 제2 파일의 인코딩에 의해 생성된 입력 신호를 입력으로 하고, 디자인 요소의 존재 여부에 대한 정보를 출력으로 할 수 있다.
제3 인공 신경망은 제2 파일 내에 디자인 요소가 검출되었는지 여부를 파악하는 작업을 수행하도록 할 수 있다.
제3 인공 신경망은 디자인 요소의 형태를 확인하고, 미리 정의된 디자인 요소와 유사한지 여부를 확인하여 제2 파일 내에 디자인 요소가 검출되는지 여부를 파악할 수 있다. 디자인 요소의 비교를 위해 데이터베이스에 저장된 정보를 활용할 수 있다.
제3 인공 신경망은 디자인 요소를 검출하는 작업을 우선으로 하며, 검출된 디자인 요소 후보의 형태 및 크기까지 파악할 수도 있다.
제3 인공 신경망은 히든 레이어와 출력 레이어를 가지고 있으며, 10층 이상의 히든 레이어로 구성되어, 총 200개 이상의 히든 레이어 노드를 포함하고, 히든 레이어의 활성함수는 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나 이에 한정하지 않는다.
제3 인공 신경망은 총 10개의 출력층 노드를 포함할 수 있다.
제3 인공 신경망의 출력은 디자인 요소의 종류 및 존재 여부에 대한 출력값으로, 디자인 요소의 종류 별로 디자인 요소가 있는지 또는 없는지를 지시할 수 있다.
일실시예에 따르면, 제3 인공 신경망은 사용자가 제3 인공 신경망에 따른 출력의 문제점 발견 시 사용자에 의해 입력된 수정 정답에 의해 생성되는 학습 신호를 전달받아 학습할 수 있다. 제3 인공 신경망에 따른 출력의 문제점은 디자인 요소가 있는 이미지에서 디자인 요소가 없는 것으로 출력값을 출력한 경우를 의미할 수 있다.
또한, 제3 인공 신경망은 제3 학습 장치에 의해 학습될 수 있는데, 제3 학습 장치는 장치(200)와 다른 별개의 주체일 수 있지만 이에 제한되는 것은 아니다.
일실시예에 따르면, 제3 인공 신경망은 트레이닝 샘플들이 입력되는 입력 레이어와 트레이닝 출력들을 출력하는 출력 레이어를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 객체 이미지들에 대응하는 식별 정보에 기초하여 정의될 수 있다. 제3 인공 신경망은 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다.
제3 학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 제3 인공 신경망을 학습시킬 수 있다. 제3 학습 장치는 제3 인공 신경망(의 출력들 및 레이블들 의해 설계된 손실 함수를 이용할 수 있다.
제3 학습 장치는 미리 정의된 손실 함수(loss function)을 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 제3 인공 신경망 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.
제3 학습 장치는 역전파(backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 제3 인공 신경망 내 노드들 사이의 관계들이다. 제3 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.
장치(200)는 학습이 완료된 제3 인공 신경망을 이용하여 제2 파일에 디자인 요소가 포함되어 있는지 여부와 디자인 요소의 종류를 추출할 수 있다.
S504 단계에서, 장치(200)는 출력 신호에 기반하여 디자인 요소가 존재하는지 확인할 수 있다.
구체적으로, 장치(200)는 제2 파일을 기초로, 입력 신호를 생성하고, 입력 신호를 제3 인공 신경망에 적용하여 출력 신호를 획득하고, 출력 신호에 기반하여 제2 파일에 디자인 요소가 포함되어 있는지 확인할 수 있다.
S505 단계에서, 장치(200)는 디자인 요소가 존재하는 것에 기반하여, 디자인 요소의 경계를 이용하여 디자인 요소를 추출할 수 있다.
구체적으로, 장치(200)는 디자인 요소가 존재하는 것에 기반하여, 에지 검출(Edge Detection)을 통해 디자인 요소를 추출할 수 있다. 여기서, 에지 검출(Edge Detection)은 이미지에서 밝기가 급격하게 변하는 부분을 말하며, 경계선, 윤곽선을 뜻하는 에지에 해당하는 화소를 찾아 디자인 요소의 경계를 검출하고, 검출된 디자인 요소의 경계를 이용하여 디자인 요소를 추출할 수 있다.
도 6은 일실시예에 따른 추출된 스톡이 판매 사이트를 통해 판매되는 경우 구매자의 구매 히스토리를 확인하여 구매자에게 적합한 스톡 리스트를 제공하는 과정을 설명하기 위한 순서도이다.
도 6을 참조하면, 먼저 S601 단계에서, 장치(200)는 스톡을 구매한 구매자의 구매 히스토리를 확인할 수 있다.
구체적으로, 장치(200)는 상기와 같은 과정으로 추출된 스톡을 판매한다는 사용자의 입력에 기반하여, 판매 사이트에 스톡을 업로드할 수 있고, 판매할 수 있다. 즉, 장치(200)는 영상 콘텐츠를 통해 스톡을 추출하는 과정 외에도 스톡 판매와 관련하여 수행할 수 있다.
즉, 장치(200)는 스톡이 판매 사이트를 통해 판매될 때, 구매자의 단말(300)로부터 획득한 구매자가 구매한 스톡과 관련된 정보를 구매 히스토리를 저장할 수 있다. 구매한 스톡과 관련된 정보는 스톡의 명칭, 스톡의 제작자, 스톡의 제작 국가, 스톡의 카테고리, 스톡의 구매 날짜를 포함할 수 있다.
S602 단계에서, 장치(200)는 구매 히스토리를 이용하여 구매자가 구매한 스톡을 업로드한 사용자를 확인하여 구매 스톡 업로드 사용자로 리스팅할 수 있다.
예를 들어, 제1 구매자의 구매 히스토리를 확인한 결과, 제1 사용자, 제2 사용자, 제3 사용자, 제4 사용자, 제5 사용자, 제6 사용자, 제7 사용자가 업로드한 스톡을 구매한 경험이 있는 경우, 장치(200)는 제1 구매자의 구매 히스토리를 통해 제1 사용자, 제2 사용자, 제3 사용자, 제4 사용자, 제5 사용자, 제6 사용자, 제7 사용자를 구매 스톡 업로드 사용자로 리스팅할 수 있다.
S603 단계에서, 장치(200)는 구매 스톡 업로드 사용자 중 상위 사용자가 업로드한 스톡을 제1 리스트로 리스팅할 수 있다. 이때, 상위 사용자를 선정하는 기준은 사용자가 업로드한 스톡 중 구매자가 구매한 스톡이 미리 설정한 기준 개수 이상일 경우 상위 사용자로 선정할 수도 있고, 구매 스톡 업로드 사용자를 사용자가 구매한 스톡의 개수로 정렬하고, 미리 설정된 기준 사용자 수에 따라 상위 사용자를 선정할 수도 있다. 또한 그 외의 기준으로 상위 사용자를 선정할 수도 있다.
예를 들어, 제1 구매자의 구매 히스토리를 확인한 결과, 제1 사용자, 제2 사용자, 제3 사용자, 제4 사용자, 제5 사용자, 제6 사용자, 제7 사용자를 구매 스톡 업로드 사용자로 리스팅되었고, 제1 사용자의 스톡 중 구매자가 구매한 스톡의 개수가 10개이고, 제2 사용자의 스톡 중 구매자가 구매한 스톡의 개수가 7개이고, 제3 사용자의 스톡 중 구매자가 구매한 스톡의 개수가 3개이고, 제4 사용자의 스톡 중 구매자가 구매한 스톡의 개수가 2개이고, 제5 사용자의 스톡 중 구매자가 구매한 스톡의 개수가 8개이고, 제6 사용자의 스톡 중 구매자가 구매한 스톡의 개수가 1개이고, 제7 사용자의 스톡 중 구매자가 구매한 스톡의 개수가 10개이고, 상위 사용자를 선정하는 기준이 사용자의 스톡 중 구매자가 구매한 스톡의 개수가 5개 이상인 경우를 상위 사용자로 선정한 경우, 장치(200)는 제1 구매자의 구매 히스토리를 통해 제1 사용자, 제2 사용자, 제5 사용자, 제7 사용자를 상위 사용자로 선정하고, 제1 사용자가 업로드한 스톡, 제2 사용자가 업로드한 스톡, 제5 사용자가 업로드한 스톡, 제7 사용자가 업로드한 스톡을 제1 리스트로 리스팅할 수 있다.
S604 단계에서, 장치(200)는 제1 리스트에서 구매자와 국가가 다른 사용자를 제외하여 제2 리스트로 리스팅할 수 있다.
구체적으로, 장치(200)는 구매자의 단말(300)을 통해 구매자가 위치하고 있는 국가를 획득할 수 있고, 사용자의 단말(100)을 통해 사용자가 위치하고 있는 국가를 획득하고, 사용자 및 사용자가 업로드한 스톡과 매칭하여 사용자가 위치하고 있는 국가를 저장할 수 있다. 또한, 장치(200)는 구매자의 단말(300)을 통해 획득한 구매자가 위치하고 있는 국가와 사용자의 단말(100)을 통해 획득한 사용자가 위치하고 있는 국가를 비교하여, 구매자가 위치하고 있는 국가와 사용자가 위치하고 있는 국가가 다를 경우, 해당 사용자를 제외하여 제2 리스트를 생성할 수 있다.
예를 들어, 제1 구매자의 구매 히스토리를 확인한 결과, 제1 리스트에 제1 사용자가 업로드한 스톡, 제2 사용자가 업로드한 스톡, 제5 사용자가 업로드한 스톡, 제7 사용자가 업로드한 스톡이 포함되어 있고, 구매자가 위치하고 있는 국가가 대한민국이고, 제1 사용자가 위치하고 있는 국가가 대한민국, 제2 사용자가 위치하고 있는 국가가 미국, 제5 사용자가 위치하고 있는 국가가 영국, 제7 사용자가 위치하고 있는 국가가 대한민국인 경우, 장치(200)는 구매자가 위치하고 있는 국가와 사용자가 위치하고 있는 국가를 비교하여, 구매자의 국가인 대한민국과 다른 국가에 위치하고 있는 제2 사용자 및 제5 사용자를 제외하여 제1 사용자가 업로드한 스톡, 제7 사용자가 업로드한 스톡을 제2 리스트로 리스팅할 수 있다.
S605 단계에서, 장치(200)는 구매 히스토리를 이용하여 구매자의 선호 스톡 카테고리를 확인하고, 제2 리스트를 선호 스톡 카테고리로 정렬할 수 있다. 여기서, 카테고리는 동물, 캐릭터, 유명인, 풍경, 뷰티제품, 의상, 음식을 포함하며, 선호 스톡 카테고리는 구매자가 구매한 스톡을 확인하여 가장 많이 포함되어 있는 스톡 카테고리로 구매자가 선호하는 스톡 카테고리일 수 있다.
예를 들어, 제2 리스트에 제1 스톡, 제2 스톡, 제3 스톡, 제4 스톡, 제5 스톡이 포함되어 있고, 제1 스톡의 카테고리는 동물, 제2 스톡의 카테고리는 음식, 제3 스톡의 카테고리는 캐릭터, 제4 스톡의 카테고리는 캐릭터, 제5 스톡의 카테고리는 유명인이고, 구매자의 선호 스톡 카테고리를 확인한 결과, 캐릭터, 동물, 유명인, 음식 순인 경우, 장치(200)는 제2 리스트를 제3 스톡, 제4 스톡, 제1 스톡, 제5 스톡, 제2 스톡 순으로 정렬할 수 있다.
S606 단계에서, 장치(200)는 정렬된 제2 리스트를 구매자의 단말(300)로 제공할 수 있다.
도 7은 일실시예에 따른 구매자로부터 선택된 스톡과 유사한 스톡을 함께 제공하는 과정을 설명하기 위한 순서도이다.
도 7을 참조하면, 먼저, S701 단계에서, 장치(200)는 구매자의 단말(300)을 통해 제2 리스트에 포함된 제1 스톡이 선택되면, 제1 스톡과 매칭된 제1 카테고리를 획득할 수 있다.
구체적으로, 장치(200)는 상기 도 6의 과정을 통해 정렬된 제2 리스트를 구매자의 단말(300)로 제공하고, 구매자의 단말(300)을 통해 제2 리스트에 포함된 제1 스톡을 구매하겠다는 선택을 획득하면, 제1 스톡과 매칭된 제1 카테고리를 획득할 수 있다.
S702 단계에서, 장치(200)는 제1 카테고리를 기초로, 데이터베이스에 저장된 스톡 중 제1 카테고리를 포함하는 유사 스톡을 추출할 수 있다.
구체적으로, 장치(200)는 구매자의 단말(300)을 통해 구매자가 구매하고자 하는 스톡을 확인할 수 있고, 구매자가 구매하고자 하는 스톡의 카테고리인 제1 카테고리를 확인하여, 데이터베이스에 저장된 스톡 중 제1 카테고리를 포함하는 스톡을 추출하여 유사 스톡으로 분류할 수 있다.
예를 들어, 제1 스톡에 매칭된 제1 카테고리가 동물일 경우, 장치(200)는 데이터베이스에 저장된 스톡 중 카테고리가 동물인 스톡을 추출하여 유사 스톡으로 분류할 수 있다.
S703 단계에서, 장치(200)는 유사 스톡을 구매자의 단말(300)로 제공할 수 있다.
구체적으로, 장치(200)는 유사 스톡을 구매자의 단말(300)로 제공하여 유사 스톡을 추천할 수 있다.
예를 들어, 제1 스톡에 매칭된 제1 카테고리가 동물이고, 데이터베이스에 포함된 스톡 중 카테고리가 동물인 스톡이 A 스톡, B 스톡, C 스톡일 경우, 장치(200)는 A 스톡, B 스톡, C 스톡을 구매자의 단말(300)로 제공하여 추천할 수 있다.
도 8은 일실시예에 따른 구매자의 선호 스톡 카테고리 및 선호 태그를 기초로 구매자의 단말에 저장된 영상을 스톡으로 추출하는 과정을 설명하기 위한 순서도이다.
도 8을 참조하면, 먼저, S801 단계에서, 장치(200)는 스톡을 구매한 구매자의 구매 히스토리를 확인할 수 있다.
구체적으로, 장치(200)는 구매자의 단말(300)로부터 획득한 구매자가 구매한 스톡과 관련된 정보를 구매 히스토리를 저장할 수 있다. 구매한 스톡과 관련된 정보는 스톡의 명칭, 스톡의 제작자, 스톡의 제작 국가, 스톡의 카테고리, 스톡의 구매 날짜를 포함할 수 있다.
S802 단계에서, 장치(200)는 구매 히스토리를 이용하여 구매자의 선호 스톡 카테고리 및 선호 스톡 카테고리에 대응하는 선호 태그를 확인할 수 있다.
구체적으로, 장치(200)는 구매 히스토리를 이용하여 구매자의 선호 스톡 카테고리를 확인할 수 있고, 선호 스톡 카테고리에 대응하는 선호 태그를 확인할 수 있다. 여기서, 태그는 해당 스톡을 설명하기 위한 키워드 형식일 수 있으며, 선호 태그는 구매자가 구매한 스톡을 확인하여 가장 많이 포함되어 있는 태그로, 구매자가 선호하는 태그일 수 있다. 예를 들어, 태그에는 귀여운, 활발한, 슬픈, 기쁜, 행복한, 단순한, 복잡한, 무서운, 맛있는, 멋있는, 황홀한, 굉장한, 아름다운, 달콤한 등이 포함될 수 있다. 또한, 스톡은 카테고리와 매칭되어 있고, 카테고리는 태그와 매칭될 수 있다. 즉, 스톡은 적어도 하나의 카테고리와 적어도 하나의 태그와 매칭될 수 있다.
예를 들어, 장치(200)는 구매자의 구매 히스토리를 통해 구매자의 선호 스톡 카테고리로 캐릭터를 확인하고, 구매자의 선호 스톡 카테고리에 대응하는 선호 태그로 활발한을 확인할 수 있다.
S803 단계에서, 장치(200)는 구매자의 단말(300)에 저장된 영상에서 제3 주기마다 프레임을 추출할 수 있다. 여기서, 제3 주기는 미리 설정된 주기로 실시 예에 따라 달라질 수 있다.
구체적으로, 장치(200)는 구매자의 단말(300)과 유무선으로 통신하고, 구매자의 단말(300)을 제어할 수 있다. 또한, 장치(200)는 구매자의 단말(300)을 통해 구매자의 단말(300)에 저장된 영상을 획득할 수 있고, 획득한 영상을 제3 주기마다 프레임을 추출할 수 있다.
S804 단계에서, 장치(200)는 추출된 프레임을 제4 인공 신경망을 적용하여 객체를 추출할 수 있다.
여기서, 제4 인공 신경망은 프레임을 입력하여 객체를 추출하는 인공 신경망으로, 제3 인공 신경망과 유사한 신경망일 수 있다.
S805 단계에서, 장치(200)는 추출된 객체를 제5 인공 신경망에 적용하여 추출된 객체의 카테고리 및 태그를 확인할 수 있다.
여기서, 제5 인공 신경망은 추출된 객체를 입력하여 추출된 객체에 대응하는 카테고리 및 태그를 출력하는 인공 신경망으로, 장치(200)는 추출된 객체를 전처리하여 제5 인공 신경망에 입력하고, 제5 인공 신경망으로부터 출력된 객체의 카테고리 및 태그를 확인할 수 있다.
S806 단계에서, 장치(200)는 추출된 객체의 카테고리 및 태그를 선호 스톡 카테고리 및 선호 태그와 비교할 수 있다.
구체적으로, 장치(200)는 추출된 객체의 카테고리 및 태그가 선호 스톡 카테고리 및 선호 태그와 일치하는지 비교하여, 추출된 객체의 카테고리와 선호 스톡 카테고리가 일치하고, 추출된 객체의 태그와 선호 태그가 일치하는지 확인할 수 있다.
S807 단계에서, 장치(200)는 비교에 기반하여 추출된 객체를 구매자의 단말(300)에 저장할 수 있다.
구체적으로, 장치(200)는 추출된 객체의 카테고리와 선호 스톡 카테고리가 일치하고, 추출된 객체의 태그와 선호 태그가 일치한다고 판단하면, 추출된 객체를 구매자의 단말(300)에 저장할 수 있다.
도 9는 일실시예에 따른 스톡에 출연자가 포함되어 있다고 판단하면 출연자가 없는 영역으로 대체하는 과정을 설명하기 위한 순서도이다.
S901 단계에서, 장치(200)는 A 프레임에서 배경이 차지하고 있는 영역을 제1 영역으로 구분할 수 있다. 여기서, 배경은 사용자가 A 프레임을 스톡으로 분류하는 이유가 될 수 있다.
구체적으로, 장치(200)는 A 프레임을 분석하여, A 프레임 상에 있는 배경을 인식할 수 있으며, A 프레임 상에서 가장 좌측에 위치하는 배경의 위치를 제1 위치로 확인하고, A 프레임 상에서 가장 상측에 위치하는 배경의 위치를 제2 위치로 확인하고, A 프레임 상에서 가장 우측에 위치하는 배경의 위치를 제3 위치로 확인하고, A 프레임 상에서 가장 하측에 위치하는 배경의 위치를 제4 위치로 확인할 수 있다.
이후, 장치(200)는 제1 위치를 기준으로 상하 방향으로 확장한 제1 직선을 생성하고, 제2 위치를 기준으로 좌우 방향으로 확장한 제2 직선을 생성하고, 제3 위치를 기준으로 상하 방향으로 확장한 제3 직선을 생성하고, 제4 위치를 기준으로 좌우 방향으로 확장한 제4 직선을 생성할 수 있다.
이후, 장치(200)는 제1 직선, 제2 직선, 제3 직선 및 제4 직선을 연결한 영역을 제1 영역으로 설정한 후, A 프레임에서 제1 영역을 구분할 수 있다.
S902 단계에서, 장치(200)는 A 프레임에서 제1 영역이 있는 부분을 분할하여, 분할된 프레임을 제1-1 이미지로 추출할 수 있다.
S903 단계에서, 장치(200)는 제1-1 이미지에 출연자가 있는 것으로 인식되는지 여부를 확인할 수 있다. 즉, 장치(200)는 제1-1 이미지 상에서 배경 이외에 사람 형태의 객체가 인식되는지 여부를 확인하여, 제1-1 이미지에 출연자가 있는지 여부를 확인할 수 있다.
S903 단계에서 제1-1 이미지에 출연자가 있는 것으로 확인되면, S904 단계에서, 장치(200)는 제1-1 이미지에서 출연자가 차지하고 있는 구역을 제2 영역으로 구분할 수 있다. 이때, 장치(200)는 A 프레임에서 제1 영역을 구분하는 방식과 동일한 방식을 통해, 제1-1 이미지에서 제2 영역을 구분할 수 있다.
S905 단계에서, 장치(200)는 제1 파일을 A 프레임이 재생되는 시점인 제1 시점으로부터 시간상 역순으로 재생하여 분석할 수 있다.
S906 단계에서, 장치(200)는 제1 파일을 제1 시점으로부터 시간상 역순으로 재생하여 분석한 결과, 제2 시점에 제2 영역 내에 출연자가 없는 것을 확인할 수 있다.
S907 단계에서, 장치(200)는 제1 파일에서 제2 시점의 프레임을 C 프레임으로 추출할 수 있다.
S908 단계에서, 장치(200)는 C 프레임에서 제2 영역이 있는 부분을 분할하여 제2-1 이미지를 추출할 수 있다.
S909 단계에서, 장치(200)는 제1-1 이미지에서 제2 영역이 있는 부분을 제2-1 이미지로 교체할 수 있다.
구체적으로, 장치(200)는 제1-1 이미지에 출연자가 있는 것으로 확인되면, 제1-1 이미지에서 출연자가 차지하고 있는 영역을 제2 영역으로 구분할 수 있고, 제1-1 이미지에서 제2 영역이 있는 부분을 삭제하고, 삭제된 위치에 제2-1 이미지를 삽입하여, 제1-1 이미지와 제2-1 이미지가 결합된 제1-1 이미지를 생성할 수 있다. 즉, 제1-1 이미지에서 제2 영역이 있는 부분이 제2-1 이미지로 교체되어, 제1-1 이미지에 있었던 출연자가 삭제되고, 삭제된 자리에 출연자가 없는 부분이 추가되어, 제1-1 이미지에서는 더 이상 출연자가 인식되지 않을 수 있다.
도 10은 일실시예에 따른 장치의 구성의 예시도이다.
일실시예에 따른 장치(200)는 프로세서(210) 및 메모리(220)를 포함한다. 프로세서(210)는 도 1 내지 도 9를 참조하여 전술된 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 9를 참조하여 전술된 적어도 하나의 방법을 수행할 수 있다. 장치(200)를 이용하는 개인 또는 단체는 도 1 내지 도 9를 참조하여 전술된 방법들 일부 또는 전부와 관련된 서비스를 제공할 수 있다.
메모리(220)는 전술된 방법들과 관련된 정보를 저장하거나 후술되는 방법들이 구현된 프로그램을 저장할 수 있다. 메모리(220)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.
프로세서(210)는 프로그램을 실행하고, 장치(200)를 제어할 수 있다. 프로세서(210)에 의하여 실행되는 프로그램의 코드는 메모리(220)에 저장될 수 있다. 장치(200)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 유무선 통신을 통해 데이터를 교환할 수 있다.
장치(200)는 인공신경망을 학습시키거나, 학습된 인공신경망을 이용하는데 사용될 수 있다. 메모리(220)는 학습 중인 또는 학습된 인공신경망을 포함할 수 있다. 프로세서(210)는 메모리(220)에 저장된 인공신경망 알고리즘을 학습시키거나 실행시킬 수 있다. 인공신경망을 학습시키는 장치(200)와 학습된 인공신경망을 이용하는 장치(200)는 동일할 수도 있고 개별적일 수도 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (3)

  1. 장치에 의해 수행되는, 인공지능 기반 스톡 이미지 자동 추출 방법에 있어서,
    사용자의 단말로부터 영상 콘텐츠를 획득하는 단계;
    상기 영상 콘텐츠를 기초로, 텍스트 요소를 제거한 제1 파일을 생성하는 단계;
    상기 제1 파일을 기초로, 화면 전환 시점을 판단하여, 프레임 단위의 이미지인 제2 파일을 생성하는 단계;
    상기 제2 파일을 기초로, 디자인 요소를 추출하는 단계;
    상기 제1 파일, 상기 제2 파일 및 상기 디자인 요소를 스톡으로 분류하는 단계; 및
    상기 스톡을 상기 사용자의 단말로 제공하는 단계;를 포함하고,
    상기 사용자의 단말로부터 상기 스톡을 판매한다는 입력에 기반하여 상기 스톡을 판매 사이트에 업로드하고, 상기 스톡을 구매한 구매자의 구매 히스토리를 기초로, 스톡 리스트를 생성하여 상기 구매자의 단말로 제공하는 단계;를 더 포함하고,
    상기 사용자의 단말로부터 상기 스톡을 판매한다는 입력에 기반하여 상기 스톡을 판매 사이트에 업로드하고, 상기 스톡을 구매한 구매자의 구매 히스토리를 기초로, 스톡 리스트를 생성하여 상기 구매자의 단말로 제공하는 단계는
    상기 사용자의 단말에 의해 상기 스톡이 판매 사이트에 업로드 된 경우,
    상기 스톡을 구매한 구매자의 구매 히스토리를 확인하는 단계,
    상기 구매 히스토리를 이용하여 상기 구매자가 구매한 스톡을 업로드한 사용자를 확인하여 구매 스톡 업로드 사용자로 리스팅하는 단계,
    상기 구매 스톡 업로드 사용자 중 상위 사용자가 제작한 스톡을 제1 리스트로 리스팅하는 단계,
    상기 제1 리스트에서 상기 구매자와 국가가 다른 사용자를 제외하여 제2 리스트로 리스팅하는 단계,
    상기 구매 히스토리를 이용하여 상기 구매자의 선호 스톡 카테고리를 확인하고, 상기 제2 리스트를 상기 선호 스톡 카테고리로 정렬하는 단계, 및
    상기 정렬된 제2 리스트를 상기 구매자의 단말로 제공하는 단계를 포함하는,
    인공지능 기반 스톡 이미지 자동 추출 방법.
  2. 제1항에 있어서,
    상기 제1 파일을 생성하는 단계는,
    상기 영상 콘텐츠를 기초로, 미리 설정된 제1 주기마다 프레임을 추출하는 단계,
    제1 인공 신경망 및 OCR을 이용하여 상기 추출된 프레임에 텍스트 요소가 포함되어 있는지 여부를 탐지하는 단계,
    상기 추출된 프레임에 포함된 텍스트 요소를 제거하는 단계,
    제2 인공 신경망을 이용하여 상기 추출된 프레임을 참조하여 상기 텍스트 요소가 제거된 부분을 채워 수정된 프레임을 생성하는 단계, 및
    상기 추출된 프레임을 상기 수정된 프레임으로 대체하여 상기 제1 파일을 생성하는 단계를 포함하고,
    상기 제1 인공 신경망은,
    합성곱 신경망(CNN; convolutional neural network)을 포함하고,
    상기 제2 인공 신경망은,
    적대적 생성 신경망(GAN; generation adversarial network)을 포함하는,
    인공지능 기반 스톡 이미지 자동 추출 방법.
  3. 제1항에 있어서,
    상기 제2 파일을 생성하는 단계는,
    상기 제1 파일에서 미리 설정된 제2 주기마다 프레임을 추출하는 단계,
    상기 추출된 프레임에 포함된 A 프레임과 상기 A 프레임 다음으로 추출된 B 프레임을 획득하는 단계,
    상기 A 프레임에 대응하는 제1 잠재 벡터 값을 획득하고, 상기 B 프레임에 대응하는 제2 잠재 벡터 값을 획득하는 단계,
    상기 제1 잠재 벡터 값과 상기 제2 잠재 벡터 값을 기초로, 상기 A 프레임과 상기 B 프레임 간의 코사인 유사도를 분석하는 단계,
    상기 코사인 유사도가 미리 설정된 기준 값 보다 큰지 여부를 판단하는 단계,
    상기 코사인 유사도가 미리 설정된 기준 값보다 크다고 판단하면, 상기 A 프레임과 상기 B 프레임 간의 화면 전환이 되지 않았다고 판단하고, 상기 추출된 프레임 내에서 상기 A 프레임을 유지하고, 상기B 프레임을 제거하는 단계, 및
    상기 코사인 유사도가 미리 설정된 기준 값보다 크지 않다고 판단하면, 상기 A 프레임과 상기 B 프레임 간의 화면 전환이 되었다고 판단하고, 상기 추출된 프레임 내에서 상기 A 프레임 및 상기 B 프레임을 모두 유지하는 단계를 포함하고
    상기 A 프레임 및 상기 B 프레임 중 적어도 하나를 포함시켜 상기 제2 파일을 생성하는,
    인공지능 기반 스톡 이미지 자동 추출 방법.
KR1020220119168A 2022-09-21 2022-09-21 인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템 KR102476815B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220119168A KR102476815B1 (ko) 2022-09-21 2022-09-21 인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220119168A KR102476815B1 (ko) 2022-09-21 2022-09-21 인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템

Publications (1)

Publication Number Publication Date
KR102476815B1 true KR102476815B1 (ko) 2022-12-12

Family

ID=84391649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220119168A KR102476815B1 (ko) 2022-09-21 2022-09-21 인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR102476815B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101732359B1 (ko) 2015-06-12 2017-05-10 주식회사 셀바스에이아이 이미지 내의 텍스트를 검출하는 방법 및 장치
KR101793653B1 (ko) 2016-06-20 2017-11-03 (주)핑거플러스 영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버
KR20180007783A (ko) * 2016-07-14 2018-01-24 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 텍스트 인식 방법
KR20190069457A (ko) * 2017-04-11 2019-06-19 알리바바 그룹 홀딩 리미티드 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스
KR102179591B1 (ko) 2018-12-12 2020-11-17 인하대학교 산학협력단 동영상 내 인물 영역 추출 장치
KR102332186B1 (ko) * 2020-11-20 2021-12-01 (주) 트립클립 스톡 이미지 및 영상 판매 플랫폼 제공 방법, 서버 및 이를 위한 장치
KR102338372B1 (ko) 2015-09-30 2021-12-13 삼성전자주식회사 영상으로부터 객체를 분할하는 방법 및 장치
KR20220062336A (ko) * 2020-05-13 2022-05-16 구글 엘엘씨 이미지 교체 복원

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101732359B1 (ko) 2015-06-12 2017-05-10 주식회사 셀바스에이아이 이미지 내의 텍스트를 검출하는 방법 및 장치
KR102338372B1 (ko) 2015-09-30 2021-12-13 삼성전자주식회사 영상으로부터 객체를 분할하는 방법 및 장치
KR101793653B1 (ko) 2016-06-20 2017-11-03 (주)핑거플러스 영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버
KR20180007783A (ko) * 2016-07-14 2018-01-24 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 텍스트 인식 방법
KR20190069457A (ko) * 2017-04-11 2019-06-19 알리바바 그룹 홀딩 리미티드 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스
KR102179591B1 (ko) 2018-12-12 2020-11-17 인하대학교 산학협력단 동영상 내 인물 영역 추출 장치
KR20220062336A (ko) * 2020-05-13 2022-05-16 구글 엘엘씨 이미지 교체 복원
KR102332186B1 (ko) * 2020-11-20 2021-12-01 (주) 트립클립 스톡 이미지 및 영상 판매 플랫폼 제공 방법, 서버 및 이를 위한 장치

Similar Documents

Publication Publication Date Title
Pérez-Rúa et al. Mfas: Multimodal fusion architecture search
Cao et al. Unsupervised diverse colorization via generative adversarial networks
Rauber et al. Visualizing the hidden activity of artificial neural networks
Sarvakar et al. Facial emotion recognition using convolutional neural networks
CN110785767B (zh) 紧凑的无语言面部表情嵌入和新颖三元组的训练方案
US20200193552A1 (en) Sparse learning for computer vision
KR20200028330A (ko) 네트워크 연산 에지 전반에 걸쳐 연속적으로 애플리케이션을 작동하는 딥 러닝과 인공 지능에서 지속적인 메모리 기반 학습을 가능하게 하는 시스템 및 방법
Gammulle et al. Fine-grained action segmentation using the semi-supervised action GAN
Himeur et al. Video surveillance using deep transfer learning and deep domain adaptation: Towards better generalization
KR102548732B1 (ko) 신경망 학습 방법 및 이를 적용한 장치
KR20240038939A (ko) 스타일 변환을 위한 영상 처리 장치 및 방법
Gollapudi et al. Deep learning for computer vision
Das et al. A new hybrid architecture for human activity recognition from rgb-d videos
Mougeot et al. A deep learning approach for dog face verification and recognition
KR20220122741A (ko) 이미지의 진위성 검증
Gunawardena et al. Real-time automated video highlight generation with dual-stream hierarchical growing self-organizing maps
Kulkarni et al. Spleap: Soft pooling of learned parts for image classification
Hou et al. Confidence-guided self refinement for action prediction in untrimmed videos
KR102476815B1 (ko) 인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템
KR102426803B1 (ko) 인공지능 기반 제품의 해외 판매 페이지 자동 업로드 방법, 장치 및 시스템
Rungta et al. A deep learning based approach to measure confidence for virtual interviews
CN117011737A (zh) 一种视频分类方法、装置、电子设备和存储介质
CN113762041A (zh) 视频分类方法、装置、计算机设备和存储介质
JP2019023801A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
Yin et al. Perceptually learning multi-view sparse representation for scene categorization

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant