KR20240025414A - 판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템 및 이를 운영하는 방법 - Google Patents

Abstract

판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템을 개시한다. 본 발명의 판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템은, 업로드된 원본 컨텐츠를 동영상 데이터로 저장하고, 저장된 동영상 데이터에 대해서 1차로 전처리하며, 1차로 전처리된 복수의 이미지에 대해서 2차로 전처리하고, 2차로 전처리된 복수의 이미지의 픽셀 정보를 입력값으로 하여 딥러닝 모델에 입력하여 해당 딥러닝 모델에 의해서 추론된 출력값에 기초하여 해당 복수의 이미지를 카테고리별로 분류하여 보관하는 서비스 서버, 원본 컨텐츠를 네트워크를 통해서 서비스 서버로 업로드하되, 해당 원본 컨텐츠에 대한 판매용 컨텐츠를 생성하기 위한 판매자 조작을 입력받아 서비스 서버로 전달하는 판매자 단말 및 서비스 서버에 의해서 생성된 판매용 컨텐츠에 대해서 구매 요청을 서비스 서버로 전송하고, 구매 요청에 대한 처리가 완료되면 해당 구매 컨텐츠를 다운로드하여 로컬 저장소에 저장하거나 미리 정해진 클라우드 저장소에 저장하도록 처리하는 구매자 단말을 포함한다.

Description

판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템 및 이를 운영하는 방법{Contents sales brokerage system providing editing function for content for sale and method of operating the same}

본 발명은 컨텐츠 판매 중개 시스템 및 이를 운영하는 방법에 관한 것으로써, 보다 상세하게는 판매자가 대용량의 원본 영상을 웹 상으로 업로드하고, 판매자가 원하는 일부분을 잘라내서 소용량의 판매용 컨텐츠로 생성할 수 있는 기능을 제공하는 컨텐츠 판매 중개 시스템 및 이를 운영하는 방법에 관한 것이다.

사운드, 이미지, 동영상 및 이들의 결합된 컨텐츠 등을 웹(WEB)을 통해서 공유하는 SNS(Social Network Service)가 보편화되고 있다. 이러한 컨텐츠 공유 SNS를 활용하여 수익을 창출할 수 있는 기회도 늘어나고 있다.

웹을 통해서 SNS를 이용하는 다양한 사용자들은 소비자로 머물지 않고 컨텐츠의 공급자로써 역할을 하고자 기대하고 있다. 소비자이자 공급자로써 역활을 하기 위해서는 많은 이미지, 동영상 등을 생산하거나 기존 컨텐츠를 활용할 수 있어야 한다. 이러한 컨텐츠 공급자 및 소비자들은 웹상에서 운용되는 다양한 SNS에서 자신만의 창작적이고 고유한 컨텐츠를 생산하기 위하여 다른 컨텐츠를 구매하거나 획득하여 자신의 컨텐츠에 활용할 수 밖에 없는 상황이다. 이러한 상황으로 인하여 웹 상에서 사용자 사이의 컨텐츠 교환이 일상화되었고, 무료로 유통(교환)되는 컨텐츠도 존재하지만, 상업적 이용을 위해서 대부분의 컨텐츠는 저작권에 의한 보호를 받기 때문에 무료로 배포된 컨텐츠가 아닌 이상은 유료로 구매하고 활용해야 한다.

이러한 유료 컨텐츠에 대한 사람들의 관심이 증대되면서 컨텐츠 판매를 통한 수익 사업 플랫폼이 생겨났고, 이러한 수익 컨텐츠 공유 플랫폼에 많은 참여자를 끌어들이고 있다. 사운드, 이미지, 동영상 등을 유료로 판매하는 사이트들도 많이 늘어나고 있다. 하지만 기존의 수익 컨텐츠 공유 플랫폼들은 대부분 판매 컨텐츠를 공급자가 로컬 단말에서 가공하여 웹 사이트로 업로드하는 전통적인 방식으로 운영되고 있다.

문제는 영상기기의 고급화로 인하여 고용량의 사운드, 이미지 및 동영상이 원본 컨텐츠로 생성되므로, 이러한 원본 컨텐츠를 로컬 단말에서 가공한 뒤에 웹 사이트로 개별적으로 업로드해야 하므로 컨텐츠 판매자는 판매용 컨텐츠를 판매하기 위한 사전 준비 작업에 많은 시간과 노력이 소모되는 문제점이 지적되었다. 또한, 수요자는 원하는 주제의 컨텐츠를 검색하는데 어려움을 겪고 있고, 필요한 주제에 맞는 컨텐츠를 공급자가 웹 사이트에 올려주지 않으면 관련 컨텐츠를 검색해서 확보하기 어려운 문제점도 있다.

이러한 문제점을 해결하기 위해서는 공급자가 원본 컨텐츠를 웹 상으로 업로드하고, 웹 상에서 판매용 컨텐츠를 간편하게 편집할 수 있도록 함으로써, 판매용 컨텐츠의 등록이 매우 손쉬운 새로운 방식의 컨텐츠 중개 시스템에 대한 개발의 필요성이 요구되고 있다.

특허문헌 1 : 한국공개특허 제10-2004-0052057호 (공개일:2004년06월19일) 특허문헌 2 : 한국등록특허 제10-1490508호 (공고일:2015년02월13일) 특허문헌 3 : 한국등록특허 제10-1721155호 (공고일:2017년04월10일) 특허문헌 4 : 한국등록특허 제10-1916874호 (공고일:2018년11월08일) 특허문헌 5 : 한국등록특허 제10-2135477호 (공고일:2020년07월17일) 특허문헌 6 : 한국등록특허 제10-2260022호 (공고일:2021년06월02일) 특허문헌 7 : 한국등록특허 제10-2422962호 (공고일:2022년07월20일)

상술한 필요성에 의해서 안출된 본 발명은 판매자가 판매용 컨텐츠를 웹 상에서 간단한 조작으로 판매용 컨텐츠로 편집할 수 있으므로 동영상(이미지) 판매를 위한 영상 편집 시간 및 노력을 절감시켜주고, 구매자는 원하는 동영상(이미지)를 효율적으로 검색하고, 원하는 부분에 대한 편집 및 활용이 가능한 판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템 및 이를 운영하는 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위하여 본 발며의 일 실시예에 따른 판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템은 업로드된 원본 컨텐츠를 동영상 데이터로 저장하고, 저장된 동영상 데이터에 대해서 1차로 전처리하며, 1차로 전처리된 복수의 이미지에 대해서 2차로 전처리하고, 2차로 전처리된 복수의 이미지의 픽셀 정보를 입력값으로 하여 딥러닝 모델에 입력하여 해당 딥러닝 모델에 의해서 추론된 출력값에 기초하여 해당 복수의 이미지를 카테고리별로 분류하여 보관하는 서비스 서버; 상기 원본 컨텐츠를 네트워크를 통해서 상기 서비스 서버로 업로드하되, 해당 원본 컨텐츠에 대한 판매용 컨텐츠를 생성하기 위한 판매자 조작을 입력받아 상기 서비스 서버로 전달하는 판매자 단말; 및 상기 서비스 서버에 의해서 생성된 판매용 컨텐츠에 대해서 구매 요청을 상기 서비스 서버로 전송하고, 상기 구매 요청에 대한 처리가 완료되면 해당 구매 컨텐츠를 다운로드하여 로컬 저장소에 저장하거나 미리 정해진 클라우드 저장소에 저장하도록 처리하는 구매자 단말;을 포함한다.

이 경우에, 상기 서비스 서버는, 상기 판매자 단말로부터 판매용 컨텐츠를 생성하기 위한 상기 판매자 조작을 수신하면, 수신된 판매자 조작의 유효성을 검증하여 상기 원본 컨텐츠의 적어도 일부분을 차지하는 부분 컨텐츠를 생성하고, 생성된 부분 컨텐츠를 식별할 수 있는 식별 정보를 포함하여 저장할 수 있다.

이 경우에, 상기 서비스 서버는, 상기 판매자 조작을 분석하여 상기 원본 컨텐츠를 구성하는 복수의 이미지의 시간 정보에 따라 상기 복수의 이미지의 적어도 일부로 구성되는 상기 부분 컨텐츠를 생성할 수 있다.

이 경우에, 상기 서비스 서버는, 상기 판매자 조작을 분석하여 상기 복수의 이미지의 시간 정보와 기 생성된 부분 컨텐츠의 시간 정보를 비교하여 일부 이미지의 시간 정보가 중첩되면 해당 판매자 조작을 무효로 판정할 수 있다.

한편, 상기 판매자 단말은, 상기 서비스 서버와 네트워크를 통해서 연결되서 미리 업로드되거나 업로드 완료 예정인 원본 컨텐츠를 구성하는 복수의 이미지의 연속 스틸컷과 연속 스틸컷에 매칭된 시간 정보를 나타내는 타임 라인을 화면에 표시하고, 사용자에 의해서 상기 연속 스틸컷 또는 상기 타임 라인의 조작을 감지하면 감지된 조작에 따라 상기 복수의 이미지 중 적어도 일부를 선택하는 판매자 조작으로 인식할 수 있다.

이 경우에, 상기 판매자 단말은, 사용자에 의해서 상기 판매자 조작이 인식되면, 인식된 판매자 조작에 대한 정보를 상기 서비스 서버로 전송하고, 상기 서비스 서버로부터 상기 판매자 조작의 유효성에 대한 응답을 수신하며, 수신된 응답에 따른 메시지를 화면에 표시할 수 있다.

이 경우에, 상기 판매자 단말은, 상기 서비스 서버로부터 수신된 응답에 따라 상기 부분 컨텐츠를 생성하는 스톡 영상 생성 버튼을 화면에 표시하고, 사용자로부터 상기 스톡 영상 생성 버튼이 눌러지면, 해당 부분 컨텐츠에 대한 정보를 입력할 수 있는 입력 윈도우를 화면에 표시할 수 있다.

한편, 상기 구매자 단말은, 판매용 컨텐츠 목록을 화면에 표시하고, 사용자로부터 판매용 컨텐츠 목록 중 적어도 하나가 선택되면, 선택된 판매용 컨텐츠 목록을 구매하기 위한 구매 화면을 표시하며, 사용자로부터 판매용 컨텐츠의 구매 요청이 입력되면 입력된 구매 요청을 상기 서비스 서버로 전달할 수 있다.

본 발명의 다른 실시 예에 따른 서비스 서버, 판매자 단말 및 구매자 단말을 포함하는 판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템을 이용한 운용 방법에 있어서, 상기 서비스 서버는, 업로드된 원본 컨텐츠를 동영상 데이터로 저장하고, 저장된 동영상 데이터에 대해서 1차로 전처리하며, 1차로 전처리된 복수의 이미지에 대해서 2차로 전처리하고, 2차로 전처리된 복수의 이미지의 픽셀 정보를 입력값으로 하여 딥러닝 모델에 입력하여 해당 딥러닝 모델에 의해서 추론된 출력값에 기초하여 해당 복수의 이미지를 카테고리별로 분류하여 저장하는 단계; 상기 서비스 서버는, 상기 판매자 단말로부터 판매용 컨텐츠를 생성하기 위한 판매자 조작을 수신하면, 해당 원본 컨텐츠에 대한 판매용 컨텐츠를 생성하기 위한 판매자 조작을 분석하는 단계; 및 상기 서비스 서버는, 상기 판매자 조작의 분석 결과에 따라 해당 판매자 조작의 유효성이 인정되면, 상기 원본 컨텐츠를 구성하는 복수의 이미지의 시간 정보에 따라 상기 복수의 이미지의 적어도 일부로 구성되는 상기 부분 컨텐츠를 생성하며, 생성된 부분 컨텐츠를 식별할 수 있는 식별 정보를 포함하여 저장하는 단계;를 포함한다.

이 경우에, 상기 서비스 서버는, 상기 구매자 단말로부터 판매용 컨텐츠에 대해서 구매 요청을 수신하면, 상기 구매 요청의 유효성을 검증하고, 유효한 구매 요청으로 판단되면 해당 구매자에 대해서 해당 구매 컨텐츠를 기 결정된 횟수만큼 다운로드 하도록 허락하는 단계;를 더 포함한다.

본 발명의 다양한 실시 예에 따르면 판매자는 판매용 컨텐츠를 원본 손실 없이 시간 단위로 필요한 부분을 간편하게 잘라서 스톡 영상으로 생성할 수 있으므로, 판매자의 판매용 컨텐츠를 생성하기 위한 자원, 시간, 및 노력을 줄여주는 효과를 발휘하고,

또한, 구매자는 구매를 희망하는 영상을 주제 및 카테고리별로 간편하게 검색하여 구매할 수 있고, 구매한 컨텐츠에 대해서 손쉽게 편집하여 사용할 수 있으므로 구매자의 구매 컨텐츠를 활용하기 위한 자원, 시간 및 노력을 감소시켜주는 효과를 발휘하며,

또한, 중개자는 판매자와 구매자 사이의 컨텐츠 중개를 위해서 업로드된 컨텐츠에 대한 카테고리 분류를 인공지능에 의해서 자동으로 수행함으로써 컨텐츠의 분류 정확도가 높아지고 수행 시간이 감축되는 효과를 발휘한다.

도 1은 본 발명의 일 실시예에 따른 서비스 서버의 구성을 예시적으로 나타내는 블럭도,
도 2는 본 발명의 다른 실시예에 따른 딥러닝을 이용한 영상 카테고리 분류 방법을 예시적으로 나타내는 플로우챠트,
도 3는 본 발명의 일 실시 예에 따른 판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템을 예시적으로 설명하는 블럭도,
도 4는 본 발명의 다른 실시 예에 따른 판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템을 운영하는 방법을 예시적으로 설명하는 타이밍도,
도 5는 도 3에 도시된 시스템에 의해서 스톡 영상을 생성하는 과정을 예시적으로 설명하는 도면,
도 6은 도 3에 도시된 시스템에 의해서 스톡 영상을 판매용 컨텐츠로 출시하는 과정을 예시적으로 설명하는 도면, 그리고,
도 7은 도 3에 도시된 시스템에 의해서 판매용 컨텐츠를 구매하는 과정을 예시적으로 설명하는 도면.

이하에서는 도면을 참고하여 본 발명의 바람직한 실시 예를 중심으로 설명한다. 이하에서 설명하는 본 발명의 바람직한 실시 예는 본 발명의 기술적 사상의 범위내에서 다양하게 설계 변경될 수 있으며, 발명의 개별 구성요소는 하나의 구성요소로 통합되거나 별도의 구성요소로 분리되어 설계될 수 있으며, 도면에 표기된 구성이나 UX/UI 등은 예시적인 것이며 본 발명의 해당 분야에서 통상의 지식을 가진 사람이 본 발명의 상세한 설명을 참고하여 다양하게 설계변경할 수 있으며, 이렇게 설계 변경된 구성 및 UX/UI에 대해서 본 발명의 권리가 미치는 것은 자명하다.

도 1은 본 발명의 실시예에 따른 서비스 서버의 구성을 예시적으로 나타내는 블럭도이다. 도 1을 참고하면, 서비스 서버(100)는 통신부(110), 저장부(120), 표시부(130), 음성 출력부(140) 및 제어부(150)를 포함한다. 도 1에 도시된 서비스 서버(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 서비스 서버(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 서비스 서버(100)가 구현될 수도 있다.

여기서 서비스 서버(100)는 스마트폰(Smart Phone), 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 태블릿 PC(Tablet PC) 등의 엣지(Edge) 컴퓨팅 단말로도 구현될 수 있으나, 바람직하게 서비스 서버(100)는 클라우드 및 AI 서버인 GPU(Graphics Processing Unit) 기반 클라우드 서버, 웹 서버, 데이터베이스 서버, 프록시 서버 등의 통합 형태로 구현될 수 있다.

또한, 서비스 서버(100)에는 네트워크 부하 분산 메커니즘, 내지 해당 서버가 인터넷 또는 다른 네트워크상에서 동작할 수 있도록 하는 다양한 소프트웨어 중 하나 이상이 설치될 수 있으며, 이를 통해 컴퓨터화된 시스템으로 구현될 수 있다. 또한, 네트워크는 http 네트워크일 수 있으며, 전용 회선(private line), 인트라넷 또는 임의의 다른 네트워크일 수 있다. 나아가, 서비스 서버(100) 및 단말/서버(미도시) 간의 연결은 데이터가 임의의 해커 또는 다른 제3자에 의한 공격을 받지 않도록 보안 네트워크로 연결될 수 있다.

또한, 서비스 서버(100)는 복수의 데이터베이스 서버를 포함할 수 있으며, 이러한 데이터베이스 서버가 탈중앙화 방식의 데이터베이스 내지 중앙 집중식 데이베이스 등으로 구축될 수 있다.

통신부(110)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결할 수 있다. 이때, 상기 외부의 임의의 단말기는 단말(미도시), 서버(미도시) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 통신부(110)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.

또한, 통신부(110)는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다. 또한, 통신부(110)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 단말, 상기 서버 등과 무선 신호를 송수신한다. 또한, 통신부(110)는 제어부(150)의 제어에 의해, 비정형 데이터에 해당하는 하나 이상의 동영상 데이터(또는 로우 데이터)를 수집(또는 수신)할 수 있다.

저장부(120)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장할 수 있다. 또한, 저장부(120)는 서비스 서버(100)가 작동하는데 필요한 데이터와 프로그램 등을 저장한다. 즉, 저장부(120)는 서비스 서버(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 딥러닝을 이용한 영상 카테고리 분류 장치(100)의 작동을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 서비스 서버(100)의 기본적인 기능을 위하여 출고 당시부터 서비스 서버(100) 상에 존재할 수 있다. 한편, 응용 프로그램은 저장부(120)에 저장되고, 서비스 서버(100)에 설치되어, 제어부(150)에 의하여 서비스 서버(100)의 작동(또는 기능)을 수행하도록 구동될 수 있다.

또한, 저장부(120)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 서비스 서버(100)는 인터넷(internet)상에서 저장부(120)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 작동할 수도 있다.

또한, 저장부(120)는 제어부(150)의 제어에 의해 통신부(110)를 통해 수집된(또는 수신된) 비정형 데이터에 해당하는 하나 이상의 동영상 데이터(또는 로우 데이터)를 저장할 수 있다.

표시부(또는 디스플레이부)(130)는 제어부(150)의 제어에 의해 저장부(120)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 표시부(130)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 표시부(130)는 정전 방식 또는 정압 방식의 터치 스크린 일 수 있다.

또한, 표시부(130)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.

또한, 표시부(130)는 제어부(150)의 제어에 의해 통신부(110)를 통해 수집된(또는 수신된) 비정형 데이터에 해당하는 하나 이상의 동영상 데이터(또는 로우 데이터) 등을 표시할 수 있다.

음성 출력부(140)는 제어부(150)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 음성 출력부(140)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.

또한, 음성 출력부(140)는 제어부(150)에 의해 생성된 안내 음성을 출력할 수 있다. 음성 출력부(140)는 제어부(150)의 제어에 의해 통신부(110)를 통해 수집된(또는 수신된) 비정형 데이터에 해당하는 하나 이상의 동영상 데이터(또는 로우 데이터) 등에 대응하는 음성 정보(또는 음향 정보) 등을 출력할 수 있다.

제어부(controller, 또는 MCU(microcontroller unit)(150)는 딥러닝을 서비스 서버(100)의 전반적인 제어 기능을 실행한다. 또한 제어부(150)는 서비스 서버(100)에 연결된 판매자 단말(200) 및/또는 구매자 단말(300)과의 제어 요청 처리를 전반적으로 관여한다.

또한, 제어부(150)는 저장부(120)에 저장된 프로그램 및 데이터를 이용하여 서비스 서버(100)의 전반적인 제어 기능을 실행한다. 제어부(150)는 RAM, ROM, CPU, GPU, 버스를 포함할 수있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 저장부(120)에 액세스하여, 저장부(120)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 저장부(120)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 작동을 수행할 수 있다.

또한, 제어부(150)는 미리 설정된 데이터 세트를 모델을 학습하기 위하여 필요한 학습 세트(train set)과 학습 도중 모델의 정확도를 평가하기 위한 검증 세트(validation set)로 소정의 비율(8 대 2, 7 대 3, 6 대4 비율)로 나누어 학습을 진행(또는 수행)한다.

또한, 제어부(150)는 CNN(Convolutional Neural Networks: 합성곱 신경망) 모델을 구현하기 위해 프로그래밍 언어(예를 들어, 파이썬(python) 등)을 사용하고, 오픈소스 라이브러리인 케라스(keras), 텐서플로우(tensorflow), 테아노(Theano) 등을 통해 신경망 모델을 구축할 수 있다.

본 발명의 실시예에서 사용하는 CNN 모델은 기존 머신러닝 모델들(예를 들어 SVM(Support Vector Machine), RF(Random Forest) 등 포함)과 달리 다차원의 데이터에서 주요 특징점들을 찾아내어 학습하는 방식이기 때문에, 픽셀들로 구성된 이미지 데이터 분류에 적합하다.

또한, 제어부(150)는 미리 설정된 학습 세트, 검증 세트 등을 통해 CNN 모델에 대해서 특정 학습 세트, 검증 세트 등을 위한 딥러닝 기능(또는 학습 기능)을 수행한다. 이때, 제어부(150)는 학습 세트, 검증 세트 등에 대해 전처리를 실시하고, 전처리된 데이터를 CNN 모델을 이용해서 심층 학습을 통해서 카테고리 분류 모델을 학습시킬 수 있다. 제어부(150)는 지도 학습(Supervised Learning), 반지도 학습(Semi-Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 및 심층 강화 학습(Deep Reinforcement Learning) 중 어느 하나 또는 적어도 하나의 조합으로 이루어지는 기계학습을 통해서도 학습 기능을 수행할 수도 있다.

딥러닝(Deep Learning)은 신경망 네트워크로, 많은 수의 계층(layer)을 만들어 학습을 하는 기계 학습 분야이다. 여기서, 신경망 네트워크는 1차원 연산을 수행하는 보통 프로그램과 대비해서, 병렬 연산을 수행하여 빠르고 복잡한 구조를 갖는다. 이때, 신경망 네트워크를 구성하는 각 계층에는 복수의 노드(node)들이 있는데, 입력 노드에서 다음 노드로 연결될 때 가중치 연산을 통해 두 노드 사이의 신호를 제어하여 하나의 값으로 출력한다.

또한, CNN의 구조는 크게 콘볼루션 계층(convolution layer), 풀링 계층(pooling layer) 및 풀리 커넥티드 계층(fully connected layer: 완전 연결 계층)으로 구성될 수 있으며, 이러한 기본구조가 복수개 쌓여서 구성될 수 있다.

또한, CNN 에서는 하위 계층부터 상위 계층을 지나면서 점차 수준이 높은 특징을 추출한다. 여기서, 하위 계층에서는 복수의 콘볼루션과 풀링을 통해 특징맵(feature map)을 구성한다. 또한, 콘볼루션 계층에서는 이전 계층의 복수의 출력값을 입력받아 공유된 가중치 연산(convolution filters) 처리를 수행하고, 상기 풀링 계층에서는 상기 콘볼루션 계층과 1:1로 연결되어 맥스-풀링(max-pooling)을 수행한다. 또한, 맥스-풀링에서는 블록 내의 특징값 중 최대값을 취함으로써, 위치에 상관없이 특징이 되는 값은 보존하고, 특징맵의 크기를 줄여 연산을 빠르게 할 수 있다. 또한, 최상위 풀리 커넥티드 계층에서는 이전 계층에서 추출된 높은 수준의 특징을 사용해서 최종 인식 결과를 결정한다.

이와 같이, 제어부(150)는 영상 데이터를 복수로 분리하여 과적합을 방지하는 교차 검증 기법을 사용한다. 여기서, 교차 검증 기법은 전체 데이터를 복수의 학습 세트와 테스트 세트로 분리하여 학습을 진행하는 방식이다.

또한, 제어부(150)는 CNN 모델에 존재하는 하나 이상의 파라미터에 대해서 미리 설정된 튜닝 기법(예를 들어 그리드 서치, 랜덤 서치 등 포함)을 적용하여 최적의 파라미터를 추출하여 사용한다. 이때, 파라미터는 모델을 학습시킬 때 사용자가 설정해줘야 하는 매개변수로, 튜닝 기법을 통해 최적으로 설정할 수 있다. 여기서, CNN 모델은 4개의 콘볼루션 계층과 2개의 풀리 커넥티드 계층으로 구성되며, 콘볼루션 계층과 풀리 커넥티드 계층 사이에는 맥스-풀링 계층을 배치하여 차원을 줄이고 과적합을 방지하도록 구성한다. 여기서, 활성화 함수는 LeakyReLU, ReLU, Sigmoid, tanh 등을 사용한다.

또한, 제어부(150)는 학습 세트, 검증 세트 등에 대한 딥러닝을 통해서 모델의 성능(또는 정확도), 테스트 데이터에 대한 예측치 등을 포함하는 딥러닝 결과를 산출(또는 생성)한다. 여기서, 성능은 분류 문제를 평가할 때 사용되는 다양한 지표들(예를 들어 정확도(accuracy), 정밀도(precision), 재현율(recall) 등 포함) 등을 사용한다.

또한, 제어부(150)는 통신부(110)를 통해 판매자 단말(200) 등으로부터 동영상 데이터(또는 동영상 파일)에 해당하는 하나 이상의 로우 데이터를 수집(또는 수신)한다.

또한, 제어부(150)는 수집된(또는 수신된) 동영상 데이터(또는 동영상 파일)에 해당하는 하나 이상의 로우 데이터를 저장부(120)에 저장한다. 제어부(150)는 상기 저장부(120)에 저장된 하나 이상의 동영상 데이터(또는 동영상 파일) 중에서 판매자 단말(200)의 사용자 선택(또는 사용자 터치/입력/제어)에 따른 어느 하나의 동영상 데이터에 대해서 1차로 전처리 기능(또는 전처리 과정)을 수행한다.

한편, 상기 제어부는, 동영상 데이터에 대해서 1차로 전처리 기능 수행 시, 상기 저장부에 저장된 하나 이상의 동영상 데이터 중에서 사용자 선택에 따라 어느 하나의 동영상 데이터가 선택될 때, 상기 선택된 동영상 데이터를 프레임 단위로 분리하여 미리 설정된 형식의 이미지로 변환하고, 상기 프레임 단위로 분리된 복수의 이미지를 미리 설정된 크기로 리사이징하고, 상기 리사이징된 크기에 따라 각 픽셀값을 변환하고, 상기 리사이징된 복수의 이미지를 각각 복제하고, 각 이미지 내에 포함된 픽셀들의 값을 미리 설정된 기준값으로 나눠서 표준화 처리하며, 상기 표준화 처리에 따라 각 이미지 내에 포함된 픽셀들의 값을 미리 설정된 0 ~ 1 사이의 실수로 변환할 수 있다.

따라서, 동영상 데이터에 대해서 전처리 기능을 수행하고, 전처리된 이미지를 입력값으로 CNN 모델을 이용해서 상기 전처리된 이미지와 관련한 동영상 데이터의 카테고리를 분류함으로써, 동영상 데이터에 대한 카테고리 분류 시간을 단축하고, 전체 시스템 운영 효율을 향상시킬 수 있다.

즉, 저장부(120)에 저장된 하나 이상의 동영상 데이터 중에서 사용자 선택에 따라 어느 하나의 동영상 데이터가 선택되는 경우, 제어부(150)는 선택된 동영상 데이터(또는 동영상 파일)를 프레임 단위(또는 이미지 단위)로 분리하여 미리 설정된 형식의 이미지(또는 이미지 파일)로 변환(또는 분리/생성/구성)한다. 여기서, 미리 설정된 형식은 RGB 형태의 JPG, TIF, PNG 등을 포함한다. 이때, 제어부(150)는 동영상 데이터로부터 미리 설정된 시간 간격으로 프레임 단위에 따라 이미지를 변환할 수 있다.

또한, 제어부(150)는 프레임 단위로 분리된 복수의 이미지(또는 개별 이미지)를 미리 설정된 크기로 리사이징하고, 리사이징된 크기에 따라 각 픽셀값을 변환한다. 이때, 제어부(150)는 미리 설정된 함수를 이용해서 프레임 단위로 분리된 복수의 이미지를 미리 설정된 크기로 리사이징할 수 있다. 또한, 프레임 단위로 분리된 이미지의 크기(또는 세로*가로 크기)가 미리 설정된 크기보다 너무 큰 상태(예를 들어 10배 이상 차이가 나는 상태)에서 프레임 단위로 분리된 이미지를 미리 설정된 크기로 리사이징하는 경우, 제어부(150)는 이미지의 훼손을 방지하기 위해서 복수 단계에 걸쳐서 순차로 확대 또는 축소를 위한 리사이징을 수행하여 최종적으로 미리 설정된 크기로 리사이징할 수 있다.

또한, 제어부(150)는 리사이징된 복수의 이미지를 각각 복제한다. 이때, 제어부(150)는 리사이징된 이미지를 다양한 형태(예를 들어 이미지 회전, 확대, 축소, 가로 및/또는 세로 크기 변경 등 포함)로 변형하여, 새로운 다수의 이미지들(또는 상기 리사이징된 이미지와 관련한 하나 이상의/다수의 새로운 이미지)을 생성한다. 이때, 제어부(150)는 데이터 확장(data augmentation, 데이터 복제) 기법을 활용하여 데이터(또는 이미지)의 수를 증가(또는 복제)할 수 있다.

또한, 제어부(150)는 각 이미지 내에 포함된 픽셀들의 값(또는 픽셀들의 단위)을 미리 설정된 표준화 방식으로 표준화 처리한다. 여기서, 표준화 방식은 각 픽셀값(예를 들어 0 내지 255 중 어느 하나의 값)을 미리 설정된 0 내지 1 사이의 실수로 변환한다. 이때, 상기 실수로 변환된 값은 미리 설정된 소수점(예를 들어 소수점 네자리)까지 계산된 상태일 수 있다.

즉, 제어부(150)는 각 이미지 내에 포함된 픽셀들의 값을 해당 RGB 값에 따른 미리 설정된 기준값(예를 들어 0 내지 255에 대응하는 256)으로 각각 나누고, 각 픽셀의 값을 상기 나눈값(또는 몫)으로 대체(또는 교환)한다.

이와 같이, 제어부(150)는 카테고리 분류(또는 분석)를 위한 동영상 데이터로부터 분리되는 복수의 이미지에 대해서 전처리 기능을 수행하여, 복수의 이미지를 각각 RGB 값에 대응하는 표준화 처리된 값으로 변환하여, 다차원 의 수치화된 테이블을 생성(또는 구성)할 수 있다.

또한, 제어부(150)는 각 이미지별로 특징을 추출하기 위한 전처리를 위해서, 1차로 전처리된 복수의 이미지(예를 들어 1차로 전처리된 프레임 단위로 분리된 복수의 이미지, 1차로 전처리된 복제된 다수의 이미지 등 포함)에 대해서 2차로 전처리 기능(또는 전처리 과정)을 수행한다.

즉, 제어부(150)는 표준화 처리된 복수의 이미지에 대해서 미리 설정된 가우시안 필터를 적용하여 노이즈를 제거한다. 여기서, 노이즈는 이미지 내의 흐릿하거나 흔들림 등으로 인해 발생한 노이즈를 포함한다.

또한, 제어부(150)는 노이즈가 제거된 복수의 이미지에 대해서 객체(또는 물체) 인식 과정을 수행하고, 노이즈가 제거된 복수의 이미지 내에 포함된 객체를 제외한 나머지 배경을 미리 설정된 픽셀값(또는 미리 설정된 표준화 처리 값)으로 변환(또는 검은색/흰색에 대응하는 RGB 값(예를 들어 000000/FFFFFF)과 관련해서 표준화 처리(예를 들어 0/1))한다. 여기서, 객체는 미리 설정된 장소, 인물, 사물 등을 포함한다.

또한, 제어부(150)는 학습 모델(예를 들어 CNN 모델)이 해당 객체를 좀 더 잘 이해할 수 있도록 해당 복수의 이미지(또는 해당 배경 처리된 복수의 이미지) 내에서 각각 인식된 객체의 색상(또는 표준화 처리된 값)을 단순화 처리한다. 여기서, 단순화 처리는 컬러 세그멘테이션(color segmentation)을 통해 객체 검출(object detection)을 실행하는 것으로, 인식된 객체를 미리 설정된 복수의 그레이 레벨(gray-level)로 분류하고, 윤곽(contouring) 기법을 사용해서 각 레벨의 면적을 측정하여, 이미지를 윤곽 영상으로 변환하는 것이다. 이때, 윤곽 기법은 미리 설정된 색상의 그레이 레벨 범위에 임계값(threshold)을 설정해서(또는 걸어) 한 개의 밝기(intensity)로 변환하는 것이다.

또한, 상기 제어부(150)는 상기 2차로 전처리된 복수의 이미지(예를 들어 2차로 전처리된 프레임 단위로 분리된 복수의 이미지, 2차로 전처리된 복제된 다수의 이미지 등 포함)를 입력값으로 CNN(합성곱 신경망) 모델을 이용해서 딥러닝을 수행하여, 해당 2차로 전처리된 복수의 이미지(또는 해당 2차로 전처리된 복수의 이미지와 관련한 동영상 데이터)에 대해 카테고리를 분류한다. 이때, 특정 이미지에 포함된 객체가 복수인 경우, 상기 제어부(150)는 해당 특정 이미지에 대해서 다중 카테고리를 분류할 수도 있다. 여기서, 카테고리는 장소, 인물, 사물, 문화 등을 포함한다.

즉, 제어부(150)는 2차로 전처리된 복수의 이미지를 입력값으로 CNN 모델을 이용해서 딥러닝을 수행하고, 딥러닝 결과를 근거로 해당 2차로 전처리된 복수의 이미지(또는 해당 2차로 전처리된 복수의 이미지와 관련한 동영상 데이터)에 대한 카테고리 분류 결과를 생성(또는 예측)한다. 여기서, 카테고리 분류 결과는 해당 동영상 데이터명(또는 동영상 파일명), 카테고리 정보(예를 들어 장소, 인물, 사물, 문화 등 포함) 등을 포함한다.

제어부(150)는 분류된 복수의 이미지(또는 복수의 이미지와 관련한 동영상 데이터)에 대한 카테고리에 대한 정보(또는 카테고리 정보)를 근거로 해당 동영상 데이터를 분류된 카테고리(또는 카테고리 정보)와 매핑하여(또는 매칭하여/연동하여) 관리(또는 저장)한다.

즉, 제어부(150)는 생성된 카테고리 분류 결과를 근거로 해당 동영상 데이터를 카테고리 분류 결과와 매핑하여 관리한다. 또한, 제어부(150)는 분류된 복수의 이미지(또는 복수의 이미지와 관련한 동영상 데이터)에 대한 카테고리에 대한 정보(또는 카테고리 분류 결과/카테고리 정보)를 표시부(130) 및/또는 음성 출력부(140)를 통해 출력한다.

또한, 제어부(150)는 분류된 상기 복수의 이미지(또는 복수의 이미지와 관련한 동영상 데이터)에 대한 카테고리에 대한 정보(또는 카테고리 분류 결과/카테고리 정보) 등을 통신부(110)를 통해 판매자 단말(200) 및/또는 구매자 단말(300) 등으로 전송(또는 제공)할 수 있다.

또한, 본 발명의 실시예에서 설명하는 특정 동영상 데이터에 대한 전처리 기능, 딥러닝을 통한 학습 기능 등은 본 발명의 서비스 서버(100)에 설치된 전용 앱을 통해 수행하거나 또는, 별도의 딥러닝 서버(미도시)에서 제공하는 웹 사이트 등을 통해 수행할 수도 있다.

이와 같이, 동영상 데이터에 대해서 전처리 기능을 수행하고, 전처리된 이미지를 입력값으로 CNN 모델을 이용해서 전처리된 이미지와 관련한 동영상 데이터의 카테고리를 분류할 수 있다.

이하에서는, 본 발명의 다른 실시 예에 따른 서비스 서버(100)에 의해서 딥러닝을 이용한 영상 카테고리 분류 방법을 도 2를 참조하여 상세히 설명한다.

도 2는 본 발명의 다른 실시예에 따른 딥러닝을 이용한 영상 카테고리 분류 방법을 예시적으로 나타내는 플로우챠트이다. 도 2를 참고하면, 먼저, 제어부(150)는 저장부(120)에 저장된 하나 이상의 동영상 데이터(또는 동영상 파일) 중에서 서비스 서버(100)에 접속한 판매자 단말(200)의 사용자 선택(또는 사용자 터치/입력/제어)에 따른 어느 하나의 동영상 데이터에 대해서 1차로 전처리 기능(또는 전처리 과정)을 수행한다.

즉, 저장부(120)에 저장된 하나 이상의 동영상 데이터 중에서 사용자(판매자) 선택에 따라 어느 하나의 동영상 데이터가 선택되는 경우, 제어부(150)는 선택된 동영상 데이터(또는 동영상 파일)를 프레임 단위(또는 이미지 단위)로 분리하여 미리 설정된 형식의 이미지(또는 이미지 파일)로 변환(또는 분리/생성/구성)한다. 여기서, 미리 설정된 형식은 RGB 형태의 JPG, TIF, PNG 등 을 포함한다.

또한, 제어부(150)는 프레임 단위로 분리된 복수의 이미지(또는 개별 이미지)를 미리 설정된 크기로 리사이징하고, 리사이징된 크기에 따라 각 픽셀값을 변환한다. 이때, 제어부(150)는 미리 설정된 함수를 이용해서 프레임 단위로 분리된 복수의 이미지를 상기 미리 설정된 크기로 리사이징할 수 있다. 또한, 상기 프레임 단위로 분리된 이미지의 크기(또는 세로*가로 크기)가 미리 설정된 크기보다 너무 큰 상태(예를 들어 10배 이상 차이가 나는 상태)에서 프레임 단위로 분리된 이미지를 미리 설정된 크기로 리사이징하는 경우, 제어부(150)는 이미지의 훼손을 방지하기 위해서 복수 단계에 걸쳐서 순차로 확대 또는 축소를 위한 리사이징을 수행하여 최종적으로 미리 설정된 크기로 리사이징할 수 있다.

또한, 제어부(150)는 리사이징된 복수의 이미지를 각각 복제한다. 이때, 제어부(150)는 리사이징된 이미지를 다양한 형태(예를 들어 이미지 회전, 확대, 축소, 가로 및/또는 세로 크기 변경 등 포함)로 변형하여, 새로운 다수의 이미지들(또는 리사이징된 이미지와 관련한 하나 이상의/다수의 새로운 이미지)을 생성한다. 이때, 제어부(150)는 데이터 확장(data augmentation, 데이터 복제) 기법을 활용하여 데이터(또는 이미지)의 수를 증가(또는 복제)할 수 있다.

또한, 제어부(150)는 각 이미지 내에 포함된 픽셀들의 값(또는 픽셀들의 단위)을 미리 설정된 표준화 방식으로 표준화 처리한다. 여기서, 표준화 방식은 각 픽셀값(예를 들어 0 내지 255 중 어느 하나의 값)을 미리 설정된 0 내지 1 사이의 실수로 변환한다. 이때, 실수로 변환된 값은 미리 설정된 소수점(예를 들어 소수점 네자리)까지 계산된 상태일 수 있다.

즉, 제어부(150)는 각 이미지 내에 포함된 픽셀들의 값을 해당 RGB 값에 따른 미리 설정된 기준값(예를 들어 0 내지 255에 대응하는 256)으로 각각 나누고, 각 픽셀의 값을 상기 나눈값(또는 몫)으로 대체(또는 교환)한다.

이와 같이, 제어부(150)는 카테고리 분류(또는 분석)를 위한 동영상 데이터로부터 분리되는 복수의 이미지에 대해서 전처리 기능을 수행하여, 복수의 이미지를 각각 RGB 값에 대응하는 표준화 처리된 값으로 변환하여, 다차원의 수치화된 테이블을 생성(또는 구성)할 수 있다.

일 예로, 제 1 저장부(120)에 미리 저장된 복수의 동영상 데이터 중에서 사용자 선택에 따라 1920 × 1080 크기의 생활영상.mov 영상이 선택될 때, 제1 제어부(150)는 선택된 생활영상.mov 영상을 프레임 단위로 분리하여 225개의 JPG 파일(예를 들어 제1 JPG 파일 내지 제225 JPG 파일)로 변환(또는 분리)한다.

또한, 제 1 제어부는 미리 설정된 파일썬 프로그램에서 구동하는 cv2.resize 함수를 이용해서 1920 × 1080 크기의 상기 제1 JPG 파일 내지 제225 JPG 파일을 미리 설정된 크기(예를 들어 32 픽셀 × 32 픽셀)로 리사이징하고, 리사이징된 제1 JPG 파일 내지 제225 JPG 파일에 대해서 각 픽셀값을 변환(또는 조정)한다.

또한, 제1 제어부는 리사이징된 제 1 JPG 파일 내지 제 225 JPG 파일을 오른쪽으로 90도 회전, 왼쪽으로 90도 회전, 100% 확대, 100% 축소 등을 각각 적용하여 다수의 서브 이미지(예를 들어 제 1-1 JPG 파일 내지 제 1-4 JPG 파일, 제 2-1 JPG 파일 내지 제 2-4 JPG 파일, ... , 제 225-1 JPG 파일 내지 제 225-4 JPG 파일 등 포함)를 복제한다.

또한, 제 1 제어부는 리사이징된 제 1 JPG 파일 내지 제 225 JPG 파일, 각 JPG 파일과 관련해서 복제된 다수의 JPG 파일들에 포함된 각 픽셀들의 값을 미리 설정된 기준값(예를 들어 RGB 값에 따른 256)으로 나눠서 표준화 처리한다(S210).

이후, 제어부(150)는 각 이미지별로 특징을 추출하기 위한 전처리를 위해서, 1차로 전처리된 복수의 이미지(예를 들어 1차로 전처리된 프레임 단위로 분리된 복수의 이미지, 1차로 전처리된 복제된 다수의 이미지 등 포함)에 대해서 2차로 전처리 기능(또는 전처리 과정)을 수행한다.

즉, 제어부(150)는 표준화 처리된 복수의 이미지에 대해서 미리 설정된 가우시안 필터를 적용하여 노이즈를 제거한다. 여기서, 노이즈는 이미지 내의 흐릿하거나 흔들림 등으로 인해 발생한 노이즈를 포함한다. 또한, 제어부(150)는 노이즈가 제거된 복수의 이미지에 대해서 객체(또는 물체) 인식 과정을 수행하고, 노이즈가 제거된 복수의 이미지 내에 포함된 객체를 제외한 나머지 배경을 미리 설정된 픽셀값(또는 미리 설정된 표준화 처리 값)으로 변환(또는 검은색/흰색에 대응하는 RGB 값(예를 들어 000000/FFFFFF)과 관련해서 표준화 처리(예를 들어 0/1))한다. 여기서, 객체는 미리 설정된 장소, 인물, 사물 등을 포함한다.

또한, 제어부(150)는 학습 모델(예를 들어 CNN 모델)이 해당 객체를 좀 더 잘 이해할 수 있도록 해당 복수의 이미지(또는 해당 배경 처리된 복수의 이미지) 내에서 각각 인식된 객체의 색상(또는 표준화 처리된 값)을 단순화 처리한다. 여기서, 단순화 처리는 컬러 세그멘테이션(color segmentation)을 통해 객체 검출(object detection)을 실행하는 것으로, 인식된 객체를 미리 설정된 복수의 그레이 레벨(gray-level)로 분류하고, 윤곽(contouring) 기법을 사용해서 각 레벨의 면적을 측정하여, 이미지를 윤곽 영상으로 변환하는 것이다. 이때, 윤곽 기법은 미리 설정된 색상의 그레이 레벨 범위에 임계값(threshold)을 설정해서(또는 걸어) 한 개의 밝기(intensity)로 변환하는 것이다.

일 예로, 제1 제어부는 표준화 처리된 제1 JPG 파일 내지 제225 JPG 파일, 각 JPG 파일과 관련해서 복제된 다수의 JPG 파일들에 대해서 가우시안 필터를 적용하여 각 이미지 내에서의 흐릿하거나 흔들림 등으로 발생한 노이즈를 제거한다.

또한, 제1 제어부는 노이즈가 제거된 제1 JPG 파일 내지 제225 JPG 파일, 각 JPG 파일과 관련해서 복제된 다수의 JPG 파일들에 대해서 객체 인식 과정을 수행하여, 주요 객체를 제외한 나머지 배경(또는 나머지 픽셀)을 미리 설정된 검은색의 RGB 값(예를 들어 000000)으로 변환하고, 변환된 RGB 값에 해당하는 각 픽셀을 표준화 처리하여 해당 나머지 배경에 대응하는 각 픽셀 값을 '0'으로 표준화한다.

또한, 제1 제어부는 배경 처리된 제1 JPG 파일 내지 제225 JPG 파일, 각 JPG 파일과 관련해서 복제된 다수의 JPG 파일들을 컬러 세그멘테이션을 통해 단순화 처리한다(S220).

이후, 제어부(150)는 2차로 전처리된 복수의 이미지(예를 들어 2차로 전처리된 프레임 단위로 분리된 복수의 이미지, 2차로 전처리된 복제된 다수의 이미지 등 포함)를 입력값으로 CNN(합성곱 신경망) 모델을 이용해서 딥러닝을 수행하여, 해당 2차로 전처리된 복수의 이미지(또는 해당 2차로 전처리된 복수의 이미지와 관련한 동영상 데이터)에 대해 카테고리를 분류한다. 이때, 특정 이미지에 포함된 객체가 복수인 경우, 제어부(150)는 해당 특정 이미지에 대해서 다중 카테고리를 분류할 수도 있다. 여기서, 카테고리는 장소, 인물, 사물,문화 등을 포함한다.

즉, 제어부(150)는 2차로 전처리된 복수의 이미지를 입력값으로 CNN 모델을 이용해서 딥러닝을 수행하고, 딥러닝 결과를 근거로 해당 2차로 전처리된 복수의 이미지(또는 해당 2차로 전처리된 복수의 이미지와 관련한 동영상 데이터)에 대한 카테고리 분류 결과를 생성(또는 예측)한다. 여기서, 카테고리 분류 결과는 해당 동영상 데이터명(또는 동영상 파일명), 카테고리 정보(예를 들어 장소, 인물, 사물, 문화 등 포함) 등을 포함한다.

또한, 제어부(150)는 분류된 복수의 이미지(또는 복수의 이미지와 관련한 동영상 데이터)에 대한 카테고리에 대한 정보(또는 카테고리 정보)를 근거로 해당 동영상 데이터를 분류된 카테고리(또는 카테고리 정보)와 매핑하여(또는 매칭하여/연동하여) 관리(또는 저장)한다.

즉, 제어부(150)는 생성된 카테고리 분류 결과를 근거로 해당 동영상 데이터를 카테고리 분류 결과와 매핑하여 관리한다.

또한, 제어부(150)는 분류된 복수의 이미지(또는 복수의 이미지와 관련한 동영상 데이터)에 대한 카테고리에 대한 정보(또는 카테고리 분류 결과/카테고리 정보)를 표시부(130) 및/또는 음성 출력부(140)를 통해 출력한다.

일 예로, 제1 제어부는 2차 전처리된 제1 JPG 파일 내지 제225 JPG 파일, 각 JPG 파일과 관련해서 복제된 다수의 JPG 파일 각각을 상기 CNN 모델을 이용해서 제1 카테고리(예를 들어 인물 카테고리) 및 제2 카테고리(예를 들어 사물 카테고리)로 분류하고, 제1 JPG 파일 내지 제225 JPG 파일과 관련한 생활영상.mov 영상을 제1 카테고리(예를 들어 인물 카테고리) 및 제2 카테고리(예를 들어 사물 카테고리)와 매핑하여 제1 저장부에 저장한다(S230).

도 3는 본 발명의 일 실시 예에 따른 판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템을 예시적으로 설명하는 블럭도이다. 도 3을 참고하면, 판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템(10)은 서비스 서버(100), 판매자 단말(200) 및 구매자 단말(300)을 포함한다.

서비스 서버(100)는 판매자 단말(200)과 구매자 단말(300)과 네트워크(예컨데, 인터넷, 인트라넷 등)를 통해서 연결될 수 있다. 서비스 서버(100)는 판매자 단말(200)과 연결되서 판매 영상/이미지(데이터 패킷)를 수신하고, 수신한 판매 영상/이미지에 대해서 동영상/이미지 등록 모듈(151)에 의해서 자동으로 카테고리 분류 처리를 실행한다. 서비스 서버(100)는 업로드된 원본 동영상을 1차 처리 및 2차 처리한 뒤 딥러닝 모델에 입력값으로 입력한다. 딥러닝 모델(카테고리 분류 모델)은 입력된 원본 동영상을 복수의 이미지에 대해서 카테고리별로 분류하는 결과값을 산출한다.

본 발명의 서비스 서버(100)는 대용량의 원본 영상을 입력받아서 해당 원본 영상을 카테고리로 자동 분류하여 등록함으로써, 동영상 데이터에 대한 카테고리 분류 시간을 단축하고, 전체 시스템 운영 효율을 향상시킬 수 있는 효과를 발휘한다.

이렇게 원본 동영상을 자동으로 카테고리 분류하는 동작에 대해서는 동영상/이미지 등록 모듈(151)에 의해서 실행되며, 동영상/이미지 등록 모듈(151)은 사전에 훈련된 카테고리 분류 모델(CNN 기반의 딥러닝 모델)이 로딩되서 실행되는 방식으로 구현될 수 있다. 또는 동영상/이미지 등록 모듈(151)은 내장된 CNN 모델 등을 새로운 훈련 데이터 세트를 이용하여 분류 모델을 훈련시켜서 분류 정확도를 개선시킬 수도 있다.

서비스 서버(100)는 저장부(120)에 미리 저장된 원본 컨텐츠 내지 실시간으로 로딩되서 저장 완료 예정인 원본 컨텐츠에 대해서 해당 원본 컨텐츠를 업로드한 판매자의 요청에 따라 스톡 영상(원본 컨텐츠를 작은 사이즈로 잘라낸 부분 컨텐츠를 의미하며 이하에서는 '부분 컨텐츠'와 동일한 의미로 표기함)으로 편집하는 처리를 실행할 수 있다. 예를 들어 서비스 서버(100)의 스톡 영상 생성 모듈(152)은 판매자의 요청에 따라 원본 컨텐츠의 일부분을 잘라내서 부분 컨텐츠인 스톡 영상으로 생성할 수 있다. 이렇게 원본 컨텐츠에서 부분 컨텐츠를 잘라내기 하는 영상/이미지 클립 생성 조작 방식의 구체적인 방법은 이하에서 별도의 도면을 참고하여 설명한다. 본 발명의 경우에는 원본 컨텐츠를 서비스 서버(100)의 저장부(120)에 업로드시키고, 원본 콘텐츠에 대한 부분 컨텐츠를 간편하게 편집할 수 있고, 부분 컨텐츠를 판매용 컨텐츠로 손쉽게 런칭(출시)할 수 있다는 점에서 판매자의 사용 편의성이 향상되는 현저한 효과를 발휘한다.

서비스 서버(100)는 스톡 영상 판매 처리 모듈(153)을 통해서 저장부(120)에 저장된 판매용 컨텐츠를 구매자 단말(300)로 공개(게시)할 수 있다. 즉, 서비스 서버(100)의 스톡 영상 판매 처리 모듈(153)은 판매자에 의해서 미리 설정된 판매용 컨텐츠를 카테고리별로 그룹화하여 구매자 단말(300)로 제공할 수 있다. 또한 스톡 영상 판매 처리 모듈(153)은 구매자 단말(300)을 통해서 구매를 희망하는 판매용 컨텐츠를 검색할 수 있도록 검색 기능을 제공할 수 있다. 이때 스톡 영상 판매 처리 모듈(153)은 구매자 단말(300)을 통해서 판매용 컨텐츠 구매 요청이 수신되면, 해당 판매용 컨텐츠에 대한 비용 지급 처리를 수행하거나, 정기 구독 서비스에 가입된 구매자 단말에 대해서는 유효성을 확인하는 처리를 수행함으로써, 해당 구매자 단말(300)이 해당 판매용 컨텐츠를 이용할 수 있는지 여부를 판단한다. 서비스 서버(100)는 이용가능한 구매자 단말(300)에 대해서만 해당 판매용 컨텐츠에 대한 다운로드를 제한된 횟수 이내에서 허용할 수 있다. 이러한 판매용 컨텐츠 구매 조작 방식에 대해서는 별도의 도면을 참고하여 이하에서 자세히 설명한다.

도 4는 본 발명의 다른 실시 예에 따른 판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템을 운영하는 방법을 예시적으로 설명하는 타이밍도이다. 도 4를 참고하면, 판매자 단말(200)은 서비스 서버(100)로 원본 컨텐츠(예컨대, 고용량 원본 동영상)를 업로드(Upload)한다(S301). 판매자 단말(200)에서 서비스 서버(100)의 저장부(120)의 일부 저장공간으로 원본 컨텐츠가 복사되서 저장되면, 판매자는 판매자 단말(200)을 통해서 서비스 서버(100)의 저장부(120)에 저장된 원본 컨텐츠를 조작할 수 있게 된다. 판매자는 클라우드 방식으로 서비스 서버(100)의 저장부(120)의 일정 공간을 사용할 수 있다.

서비스 서버(100)는 판매자 단말(200)로 부터 수신된 원본 컨텐츠에 대해서 딥러닝 방식으로 사전 훈련된 카테고리 분류 모델에 의해서 자동으로 카테고리별 분류됨으로써 동영상 등록처리가 이루어진다(S302). 즉, 서비스 서버(100)는 업로드된 원본 동영상을 적어도 하나의 카테고리로 자동으로 분류하여 카테고리별로 그룹화하여 저장 및 보관한다.

판매자 단말(200)은 사전에 등록된 원본 동영상에 대한 부분 동영상을 생성(편집)하도록 조작 명령을 서비스 서버(100)로 전송할 수 있다(S303). 즉, 판매자 단말(200)은 화면에 표시되는 미리 등록된 원본 동영상에 대한 부분 동영상(컨텐츠)를 생성하도록 조작명령을 입력받으면, 해당 동영상 클립 생성 요청 명령을 서비스 서버(100)로 전송하게 된다.

서비스 서버(100)는 판매자 단말(200)로부터 수신한 동영상 클립 생성 요청 명령을 분석하고, 분석된 동영상 클립 생성 요청 명령에 따라 스톡 영상을 생성하는 처리를 수행한다(S304). 즉, 서비스 서버(100)는 판매자 단말(200)의 유효성을 판단하고, 유효한 판매자 단말(200)일 경우에 통신 세션(session)을 유지하면서 판매자 단말(200)로부터 수신된 조작 명령을 분석하여, 분석된 조작 명령에 따라 동영상 클립을 생성한다.

판매자 단말(200)은 동영상 클립(스톡 영상)이 생성되면, 생성된 스톡 영상을 판매를 위해서 컨텐츠 마켓(Contents market)에 게시하는 처리를 서비스 서버(100)에 요청하여 생성된 스톡 영상 판매 요청을 할 수 있다(S305). 즉, 판매자 단말(200)은 미리 생성된 스톡 영상을 선택하고, 선택된 스톡 영상에 대한 마켓 게시를 요청함으로써 해당 스톡 영상에 대한 판매 요청을 할 수 있다.

서비스 서버(100)은 판매자 단말(200)로부터 판매 요청된 스톡 영상을 구매자들에게 공개하는 처리를 할 수 있다(S306). 즉, 서비스 단말(100)은 판매자 단말(200)로부터 수신된 스톡 영상 판매 요청을 분석하고, 스톡 영상 판매 요청이 유효한 경우에 해당 스톡 영상을 구매자들이 검색하여 구매할 수 있도록 완전 또는 부분적으로 공개한다. 이때, 판매자의 요청이나 구매자의 등급에 따라 스톡 영상의 공개 범위가 달라질 수 있다. 예를 들어, 판매자의 요청에 따라 모든 구매자, 특정 조건을 충족하는 구매자, 제한적인 구매자 또는 비공개 등으로 공개 범위를 다르게 설정할 수 있다. 또한, 구매자의 등급에 따라 스톡 영상에 접근할 수 있는 범위가 달라지게 공개될 수도 있다. 구매자가 정기 구독 서비스를 이용중이고 구독료에 따라서 판매용 컨텐츠에 접근할 수 있는 범위가 달라질 수 있다.

서비스 서버(100)은 공개된 스톡 영상에 대하여 구매자 단말(300)로부터 특정 검색어에 대한 검색 요청을 받고 상기 특정 검색어와 관련도가 높은 스톡 영상을 제공할 수 있다. 상기 스톡 영상의 제공 순서는 관련도 순으로 제공할 수 있다. 예를 들어, 서비스 서버(100)는 업로드된 동영상을 1차 및 2차 처리한 뒤 딥러닝 모델에 의하여 구매자 단말(300)에 관련도가 높은 복수의 스톡 영상을 제공할 수 있다. 한편, 상기 복수의 스톡 영상의 개별적인 스톡 영상에 대하여도 관련도가 높은 스톡 이미지를 제공할 수 있다. 개별적으로 선택된 관련도가 높은 스톡 영상은 복수의 이미지로 분할하고(예를 들어 1분 영상은 360개의 이미지로 분할), 상기 분할된 이미지 중에 관련도가 높은 복수의 이미지가 선택되어 제공될 수 있다. 상기 복수의 이미지는 특정 검색어와 관련된 부분을 추출하여 제공될 수 있다. 상기 추출은 특정 검색어와 관련된 오브젝트(물체, 배경 등)가 복수의 이미지 내에 차지하는 면적, 중앙에 위치하는 정도 등에 대한 가중치를 이미지 내의 오브젝트가 차지하는 면적, 오브젝트가 메인 주제로서 중앙에 차지하는 위치에 비례하게 가중치를 부여하여 관련도가 높은 순서로 개별적인 스톡 영상과 함께 복수의 스톡 이미지로 제공될 수 있다. 따라서, 구매자는 특정 검색어로 검색된 스톡 영상 전체를 스트리밍하지 않고도 관련도가 높은 이미지를 여러개만 확인함으로써 원하는 영상에 대한 검색 효율은 높아질 수 있다.

구매자 단말(300)은 서비스 서버(100)로 공개된 스톡 영상의 검색을 요청하고, 검색된 스톡 영상에 대한 구매 요청을 할 수 있다.(S307). 즉, 구매자 단말(300)은 서비스 서버(100)에서 제공하는 판매용 컨텐츠 중 판매 목록을 확인할 수 있고, 구매 가능한 판매용 컨텐츠 중 구매를 희망하는 스톡 영상을 선택하여 구매 요청을 할 수 있다.

서비스 서버(100)는 구매자 단말(300)로부터 수신된 구매 요청을 분석하여 구매 처리를 실행할 수 있다(S308). 즉, 서비스 서버(100)는 구매자 단말(300)로 부터 수신된 구매 요청 중 열람 가능 정보, 다운로드 권한 정보, 구독 정보 및 결제 정보 등의 구매자 정보를 이용하여 해당 스톡 영상에 대한 구매 처리를 실행한다. 유효하게 구매 처리된 스톡 영상에 대해서 해당 구매자 단말(300)를 통해서 다운로드할 수 있도록 허용하는 처리를 실행한다. 이때 기 구매한 스톡 영상에 대해서는 다운로드 가능 횟수 이내에서만 다운로드를 허용하도록 처리할 수 있다.

서비스 서버(100)는 일정한 주기 또는 일정한 조건을 충족한 경우에 판매자 단말(200)로 판매된 스톡 영상에 대한 정산 금액을 제공할 수 있다(S309). 즉, 판매자 단말(200)을 통해서 미리 계좌 등록된 경우에는 등록된 계좌로 일정한 주기(일주일, 한달, 분기, 반기 등)로 판매 대금을 정산하여 금액으로 지불할 수 있다. 또는 판매자 단말(200)을 통해서 서비스 서버(100)로 정산 요청이 들어오면 유효한 정산 요청인지를 검사한 뒤 소정 기간 이내에 요청 금액을 지정된 계좌로 지불할 수 있다.

도 5는 도 3에 도시된 시스템에 의해서 스톡 영상을 생성하는 과정을 예시적으로 설명하는 도면이다. 도 5(a)에 도시된 바와 같이 판매자 단말(200)은 디스플레이부(210)를 통해서 서비스 서버(100)에 사전에 업로드한 컨텐츠 아이템 목록을 확인할 수 있다. 사용자는 판매자 단말(200)의 화면(210)에 표시되는 아이템 목록에서 "B 아이템"에 대한 제1 클릭(CLK_1)을 실행할 수 있다. 도 5(b)에 도시된 바와 같이 판매자 단말(200)의 화면(210)에는 제1 클릭(CLK_1)된 "B 아이템"에 대한 상세 정보가 표시될 수 있다. 사용자가 버튼 1을 제2 클릭(CLK_2)하면 클립 생성을 실행하는 화면으로 전환될 수 있다. 도 5(c)에 도시된 바와 같이 사용자는 "B 아이템"에 대한 클립 라인(CLIP_LINE)에 표시된 "B 아이템"에 대한 세부 이미지 프레임을 육안으로 확인할 수 있다. 또한, 사용자는 클립 라인(CLIP_LINE)의 하부에 표시되는 타인 라인의 시작 지점을 제3 클릭(CLK_3)하고 종료 지점을 제4 클릭(CLK_4)함으로써 "B 아이템"에 대한 적어도 일부를 선택하여 부분 컨텐츠(클립 영상)를 생성하기 위한 선택을 할 수 있다. 도 5(d)에 도시된 바와 같이 사용자의 부분 컨텐츠 선택이 기존에 생성된 클립 영상과 비교하여 일부 이미지 프레임이 중첩되는 경우(클립 구간 중첩)에는 유효한 구간 설정이 아니므로 경고창(PopUp_1)을 생성하고 다시 클립 구간을 선택할 수 있게 한다. 도 5(e)에 도시된 바와 같이 사용자가 시작 지점을 제5 클릭(CLK_5)하고, 종료 지점을 제6 클릭(CLK_6)하여 새로운 클립 구간을 선택할 수 있다. 이렇게 선택된 클립 구간에 대해서 시작 지점과 종료 지점에 대한 시간 정보가 표시될 수도 있다. 도 5(f)에 도시된 바와 같이 사용자가 선택한 클립 구간의 시간 정보가 기존에 생성된 부분 컨텐츠의 시간 구간과 중첩되지 않으면 클립 생성이 유효하게 이루어진 것으로 판단하고, 클립 제목을 입력할 수 있는 안내창(PopUp_2)이 화면에 표시된다. 도 5(g)에 도시된 바와 같이 사용자가 안내창(PopUp_2)에 클립 제목을 (화상)키보드(미도시)를 이용하여 타이핑하고, 저장 버튼을 클릭(CLK_7)함으로써, 신규 생성된 부분 컨텐츠(스톡 영상)에 대한 클립 제목을 입력할 수 있다. 도 5(h)에 도시된 바와 같이 클립 생성이 유효하고 클립 제목의 입력도 정상적으로 이루어지면 클립 생성의 성공을 표시하는 결과창(PopUp_3)이 화면에 표시될 수 있다.

도 6은 도 3에 도시된 시스템에 의해서 스톡 영상을 판매용 컨텐츠로 출시하는 과정을 예시적으로 설명하는 도면이다. 도 6(a)에 도시된 바와 같이 클립 생성이 성공하면 신규 클립을 포함하여 기존에 생성한 클립을 모아놓은 클립 리스트를 원본 컨텐츠의 아이템 상세에 함께 표시한다. 클립 리스트 중 "클립 1"을 제1 클릭(CLK_1)하면 해당 클립에 대한 선택이 이루어지면서 해당 클립에 대한 선택 효과가 화면에 반영될 수 있다. 도 6(a)에서는 "클립 1" 아이콘 영역이 진한 색으로 강조되도록 표시된 것으로 확인할 수 있으나, 다른 방식으로도 구현될 수 있다. 사용자는 버튼 2를 제2 클릭(CLK_2)할 수 있다. 도 6(c)에 도시된 바와 같이 사용자에 의해서 버튼 2가 클릭되면(CLK_2)되면 해당 "클립 1"을 마켓에 개시할 것인지 여부를 확인하기 위하 메시지 창(PopUp_3)이 화면에 표시될 수 있다. 도 6(d)에 도시된 바와 같이 클립 에 대한 마켓에 출시할 경우에 메시지 창(PopUp_3)에서 '예'를 제3 클릭(CLK_3)하면 해당 클립(클립 1)에 대한 마켓 출시를 요청하는 판매 요청 명령이 생성되서 판매자 단말(200)에서 서비스 서버(100)로 전송될 수 있다. 도 6(e)에 도시된 바와 같이 판매자가 판매 요청한 클립 목록이 판매자 단말(200)의 화면에 표시되는 것을 확인할 수 있다. 새롭게 판매 요청한 클립에 대해서는 'NEW'라는 표시가 표시되거나 이와 유사한 방식으로 신규 등록 클립을 표시하는 정보가 표시될 수 있다. 사용자는 신규 등록된 클립에 대해서 세부 정보를 확인하기 위하여 제4 클릭(CLK_4)을 할 수 있다. 도 6(f)에 도시된 바와 같이 사용자가 "클립 1"에 대한 판매 정보를 확인할 수 있는 화면이 판매자 단말(200)의 화면에 표시될 수 있다.

도 7은 도 3에 도시된 시스템에 의해서 판매용 컨텐츠를 구매하는 과정을 예시적으로 설명하는 도면이다. 도 7(a)에 도시된 바와 같이, 구매자 단말(300)에는 구매 가능한 판매용 컨텐츠가 카테고리별로 표시될 수 있다. 또는 구매자 단말(300)을 통해서 원하는 키워드(예를 들어 "바다")를 검색 창에 입력하고 검색 버튼을 제1 클릭(CLK_1)하면 키워드와 유사도가 높은 판매용 컨텐츠를 카테고리 별로 정렬하여 구매자 단말(300)에 표시될 수 있다. 도 7(b)를 참고하면 구매자가 클립 2를 제2 클릭(CLK_2)하면 해당 클립 2에 대한 세부 정보를 확인할 수 있다. 도 7(c)를 참고하면, 클립 2에 대한 미리 보기, 컨텐츠 상세 정보, 가격 정보, 이용 정보 및 컨텐츠 구매 처리를 위한 버튼 등을 확인할 수 있다. 사용자가 컨텐츠 구매 버튼을 제3 클릭(CLK_3)하면, 해당 클립 2에 대한 구매 요청 명령을 생성하여 구매자 단말(300)에서 서비스 서버(100)로 전송될 수 있다. 서비스 서버(100)는 구매자 단말(300)로부터 구매 요청이 수신되면 구매 요청 처리를 수행하고, 구매 요청이 유효하게 처리된 구매자 단말(300)에 대해서는 해당 구매 컨텐츠에 대한 다운로드를 가능하도록 구매다 단말(300)의 화면에 정보를 표시할 수 있다.

본 발명은 판매자가 판매용으로 대용량의 컨텐츠를 로컬 환경에서 편집해서 다시 서비스 서버로 업로드하지 않고, 웹 상에서 대용량의 원본 컨텐츠를 부분적으로 추출하여 판매용 컨텐츠로 간편하게 편집하고, 판매용 컨텐츠를 즉각적으로 마켓에 게시하도록 요청할 수 있으므로 판매자의 사용자 편의성이 향상되는 효과를 발휘한다.

또한, 본 발명의 다른 실시예는 앞서 설명된 바와 같이, 동영상 데이터에 대해서 전처리 기능을 수행하고, 전처리된 이미지를 입력값으로 CNN 모델을 이용해서 상기 전처리된 이미지와 관련한 동영상 데이터의 카테고리를 분류하여, 동영상 데이터에 대한 카테고리 분류 시간을 단축하고, 전체 시스템 운영 효율을 향상시킬 수 있는 효과가 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 서비스 서버
110 : 통신부
120 : 저장부
130 : 디스플레이부
140 : 음성 출력부
150 : 제어부
151 : 동영상/이미지 등록 모듈
152 : 스톡 영상 생성 모듈
153 : 스톡 영상 판매 처리 모듈
200 : 판매자 단말
300 : 구매자 단말

Claims (10)

1. 판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템에 있어서,
   업로드된 원본 컨텐츠를 동영상 데이터로 저장하고, 저장된 동영상 데이터에 대해서 1차로 전처리하며, 1차로 전처리된 복수의 이미지에 대해서 2차로 전처리하고, 2차로 전처리된 복수의 이미지의 픽셀 정보를 입력값으로 하여 딥러닝 모델에 입력하여 해당 딥러닝 모델에 의해서 추론된 출력값에 기초하여 해당 복수의 이미지를 카테고리별로 분류하여 보관하는 서비스 서버;
   상기 원본 컨텐츠를 네트워크를 통해서 상기 서비스 서버로 업로드하되, 해당 원본 컨텐츠에 대한 판매용 컨텐츠를 생성하기 위한 판매자 조작을 입력받아 상기 서비스 서버로 전달하는 판매자 단말; 및
   상기 서비스 서버에 의해서 생성된 판매용 컨텐츠에 대해서 구매 요청을 상기 서비스 서버로 전송하고, 상기 구매 요청에 대한 처리가 완료되면 해당 구매 컨텐츠를 다운로드하여 로컬 저장소에 저장하거나 미리 정해진 클라우드 저장소에 저장하도록 처리하는 구매자 단말;을 포함하는,
   판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템.
   
2. 제1 항에 있어서,
   상기 서비스 서버는,
   상기 판매자 단말로부터 판매용 컨텐츠를 생성하기 위한 상기 판매자 조작을 수신하면, 수신된 판매자 조작의 유효성을 검증하여 상기 원본 컨텐츠의 적어도 일부분을 차지하는 부분 컨텐츠를 생성하고, 생성된 부분 컨텐츠를 식별할 수 있는 식별 정보를 포함하여 저장하는 것을 특징으로 하는,
   판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템.
   
3. 제2 항에 있어서,
   상기 서비스 서버는,
   상기 판매자 조작을 분석하여 상기 원본 컨텐츠를 구성하는 복수의 이미지의 시간 정보에 따라 상기 복수의 이미지의 적어도 일부로 구성되는 상기 부분 컨텐츠를 생성하는 것을 특징으로 하는,
   판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템.
   
4. 제3 항에 있어서,
   상기 서비스 서버는,
   상기 판매자 조작을 분석하여 상기 복수의 이미지의 시간 정보와 기 생성된 부분 컨텐츠의 시간 정보를 비교하여 일부 이미지의 시간 정보가 중첩되면 해당 판매자 조작을 무효로 판정하는 것을 특징으로 하는,
   판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템.
   
5. 제1 항에 있어서,
   상기 판매자 단말은,
   상기 서비스 서버와 네트워크를 통해서 연결되서 미리 업로드되거나 업로드 완료 예정인 원본 컨텐츠를 구성하는 복수의 이미지의 연속 스틸컷과 연속 스틸컷에 매칭된 시간 정보를 나타내는 타임 라인을 화면에 표시하고,
   사용자에 의해서 상기 연속 스틸컷 또는 상기 타임 라인의 조작을 감지하면 감지된 조작에 따라 상기 복수의 이미지 중 적어도 일부를 선택하는 판매자 조작으로 인식하는 것을 특징으로 하는,
   판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템.
   
6. 제5 항에 있어서,
   상기 판매자 단말은,
   사용자에 의해서 상기 판매자 조작이 인식되면, 인식된 판매자 조작에 대한 정보를 상기 서비스 서버로 전송하고, 상기 서비스 서버로부터 상기 판매자 조작의 유효성에 대한 응답을 수신하며, 수신된 응답에 따른 메시지를 화면에 표시하는 것을 특징으로 하는,
   판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템.
   
7. 제6 항에 있어서,
   상기 판매자 단말은,
   상기 서비스 서버로부터 수신된 응답에 따라 상기 부분 컨텐츠를 생성하는 스톡 영상 생성 버튼을 화면에 표시하고,
   사용자로부터 상기 스톡 영상 생성 버튼이 눌러지면, 해당 부분 컨텐츠에 대한 정보를 입력할 수 있는 입력 윈도우를 화면에 표시하는 것을 특징으로 하는,
   판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템.
   
8. 제1 항에 있어서,
   상기 구매자 단말은,
   판매용 컨텐츠 목록을 화면에 표시하고,
   사용자로부터 판매용 컨텐츠 목록 중 적어도 하나가 선택되면, 선택된 판매용 컨텐츠 목록을 구매하기 위한 구매 화면을 표시하며,
   사용자로부터 판매용 컨텐츠의 구매 요청이 입력되면 입력된 구매 요청을 상기 서비스 서버로 전달하는 것을 특징으로 하는,
   판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템.
   
9. 서비스 서버, 판매자 단말 및 구매자 단말을 포함하는 판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템을 이용한 운용 방법에 있어서,
   상기 서비스 서버는, 업로드된 원본 컨텐츠를 동영상 데이터로 저장하고, 저장된 동영상 데이터에 대해서 1차로 전처리하며, 1차로 전처리된 복수의 이미지에 대해서 2차로 전처리하고, 2차로 전처리된 복수의 이미지의 픽셀 정보를 입력값으로 하여 딥러닝 모델에 입력하여 해당 딥러닝 모델에 의해서 추론된 출력값에 기초하여 해당 복수의 이미지를 카테고리별로 분류하여 저장하는 단계;
   상기 서비스 서버는, 상기 판매자 단말로부터 판매용 컨텐츠를 생성하기 위한 판매자 조작을 수신하면, 해당 원본 컨텐츠에 대한 판매용 컨텐츠를 생성하기 위한 판매자 조작을 분석하는 단계; 및
   상기 서비스 서버는, 상기 판매자 조작의 분석 결과에 따라 해당 판매자 조작의 유효성이 인정되면, 상기 원본 컨텐츠를 구성하는 복수의 이미지의 시간 정보에 따라 상기 복수의 이미지의 적어도 일부로 구성되는 상기 부분 컨텐츠를 생성하며, 생성된 부분 컨텐츠를 식별할 수 있는 식별 정보를 포함하여 저장하는 단계;를 포함하는,
   판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템을 운용하는 방법.
   
10. 제9 항에 있어서,
    상기 서비스 서버는, 상기 구매자 단말로부터 판매용 컨텐츠에 대해서 구매 요청을 수신하면, 상기 구매 요청의 유효성을 검증하고, 유효한 구매 요청으로 판단되면 해당 구매자에 대해서 해당 구매 컨텐츠를 기 결정된 횟수만큼 다운로드 하도록 허락하는 단계;를 더 포함하는,
    판매용 컨텐츠에 대한 편집 기능을 제공하는 컨텐츠 판매 중개 시스템을 운용하는 방법.