KR20230002000A - Server for providing video contents platform and method thereof - Google Patents
Server for providing video contents platform and method thereof Download PDFInfo
- Publication number
- KR20230002000A KR20230002000A KR1020210085201A KR20210085201A KR20230002000A KR 20230002000 A KR20230002000 A KR 20230002000A KR 1020210085201 A KR1020210085201 A KR 1020210085201A KR 20210085201 A KR20210085201 A KR 20210085201A KR 20230002000 A KR20230002000 A KR 20230002000A
- Authority
- KR
- South Korea
- Prior art keywords
- video content
- user
- content
- attribute information
- scene
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000004891 communication Methods 0.000 claims abstract description 7
- 230000008451 emotion Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Social Psychology (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
본 발명은 영상 콘텐츠 플랫폼을 제공하는 서버 및 그 방법에 관한 것이다.The present invention relates to a server and method for providing a video content platform.
통신기술, 인터넷 및 모바일 디바이스의 발전을 통해 영상 콘텐츠를 쉽게 접할 수 있는 유튜브, 넷플릭스 등의 플랫폼이 등장하였다. 이러한 플랫폼에는 기존 방송국뿐 아니라 개인까지도 쉽게 영상을 올릴 수 있게 되면서 무수히 많은 영상이 공유될 수 있는 환경이 마련되었다. 다만 수많은 영상 콘텐츠가 무작위로 노출된다면 사용자는 탐색에 소요되는 노력이 불필요하게 요구될 것이다. 따라서 플랫폼마다 사용자의 관심을 지속적으로 유지할 수 있도록 적절한 콘텐츠를 추천하는 기술을 개발하고 있다.Through the development of communication technology, the Internet, and mobile devices, platforms such as YouTube and Netflix have emerged to provide easy access to video content. On these platforms, not only existing broadcasting stations but also individuals can easily upload videos, creating an environment where countless videos can be shared. However, if a large number of video contents are randomly exposed, the effort required for searching will be unnecessary. Therefore, each platform is developing a technology that recommends appropriate content to keep users interested.
사용자 선호를 반영한 콘텐츠를 추천하는 종래 기술로는 크게 콘텐츠 간의 유사도를 통해 추천하는 방식인 Contents-based 방식(한국 공개특허 10-2018-0069621), 사용자 간의 상호작용을 통해 추천하는 방식인 Collaborative Filtering 방식(한국 공개특허 10-2020-0114901)이 있다.Conventional techniques for recommending content reflecting user preferences include a Contents-based method (Korean Patent Publication No. 10-2018-0069621), which is a method of recommending content through similarity between content, and a Collaborative Filtering method, which is a method of recommending content through interaction between users. (Korean Patent Publication No. 10-2020-0114901).
본 발명은 다양한 종류의 속성을 영상 콘텐츠로부터 자동으로 추출하고, 추출된 속성에 사용자의 상호작용을 가중치로 반영하여 영상 콘텐츠를 매칭함으로써 사용자에게 영상 콘텐츠 속성 기반으로 추천하는 방법을 제안하는 것에 목적이 있다.The purpose of the present invention is to suggest a method of recommending to users based on the attributes of video contents by automatically extracting various types of attributes from video contents and matching the video contents by reflecting user interactions on the extracted attributes as weights. there is.
본 발명의 일측면에 따르면, 영상 콘텐츠의 유사도 및 사용자의 선호에 따라 영상 콘텐츠를 추천하는 영상 콘텐츠 플랫폼을 제공하는 관리 서버에 있어서, 사용자가 상기 영상 콘텐츠 플랫폼을 통하여 입력하는 영상 콘텐츠에 대한 선택 정보를 상기 영상 콘텐츠 플랫폼을 실행하는 사용자 단말로부터 수신하는 통신 모듈; 및 상기 영상 콘텐츠 플랫폼을 실행하는 사용자 단말을 통하여 영상 콘텐츠를 제공하도록 제어하되, 영상 콘텐츠의 특징을 기초로 적어도 하나 이상의 장면 콘텐츠로 분할하고, 상기 장면 콘텐츠의 특징에 관한 속성 정보를 상기 장면 콘텐츠로부터 추출하고, 상기 선택 정보를 상기 사용자 단말로부터 획득하고, 상기 선택 정보에 상응하는 영상 콘텐츠에 포함된 속성 정보에 상기 사용자의 선택 정보를 가중치로 반영하여 상기 사용자의 프로파일을 생성하고, 상기 사용자의 프로파일과 영상 콘텐츠의 유사도를 계산하고, 상기 유사도를 기초로 상기 사용자에 대한 추천 영상 콘텐츠로 결정하고, 상기 추천 영상 콘텐츠를 상기 사용자 단말로 제공하도록 제어하는 제어 모듈; 을 포함하는 것을 특징으로 하는, 관리 서버가 제공될 수 있다.According to one aspect of the present invention, in a management server that provides a video content platform that recommends video content according to similarity of video content and user preference, selection information about video content input by a user through the video content platform. a communication module for receiving from a user terminal executing the video content platform; and controlling to provide video content through a user terminal running the video content platform, wherein the video content is divided into at least one or more scene contents based on characteristics of the video content, and attribute information about the characteristics of the scene content is provided from the scene content. extracting, obtaining the selection information from the user terminal, generating a profile of the user by reflecting the selection information of the user as a weight in attribute information included in video content corresponding to the selection information, and generating the profile of the user a control module that calculates a similarity between video content and video content, determines recommended video content for the user based on the similarity, and controls to provide the recommended video content to the user terminal; Characterized in that it includes, a management server may be provided.
또한, 상기 제어 모듈은, 상기 장면 콘텐츠에 인물의 얼굴이 포함된 경우 상기 얼굴의 위치 및 구성요소를 감지하고 감정 분석 모델에 적용하여 상기 장면 콘텐츠의 감정에 대한 속성 정보를 추출하는 것을 특징으로 하는, 관리 서버가 제공될 수 있다.In addition, when the scene content includes a face of a person, the control module detects the position and components of the face and extracts attribute information about the emotion of the scene content by applying it to an emotion analysis model. , a management server may be provided.
또한, 상기 제어 모듈은, 상기 장면 콘텐츠에 인물의 얼굴이 포함되지 않은 경우 상기 장면 콘텐츠의 색상 배경, 색상 전경, 강조 색 또는 사물 태그 중에서 적어도 하나를 분석하여 상기 장면 콘텐츠의 감정에 대한 속성 정보를 추출하는 것을 특징으로 하는, 관리 서버가 제공될 수 있다.In addition, when the face of a person is not included in the scene content, the control module analyzes at least one of a color background, a color foreground, an accent color, or an object tag of the scene content to obtain attribute information about emotion of the scene content. Characterized in extracting, a management server may be provided.
또한, 상기 제어 모듈은, 상기 장면 콘텐츠의 색상 배경, 색상 전경 또는 강조 색 중 적어도 하나를 분석하여 상기 장면 콘텐츠의 화면 전환 정보를 추출하는 것을 특징으로 하는, 관리 서버가 제공될 수 있다.In addition, the control module may extract screen transition information of the scene content by analyzing at least one of a color background, a color foreground, or an accent color of the scene content.
또한, 상기 제어 모듈은, 상기 장면 콘텐츠의 화면 전환 정보를 기초로 화면 전환 빈도를 연산하여 상기 장면 콘텐츠의 진행 속도에 대한 속성 정보를 추출하는 것을 특징으로 하는, 관리 서버가 제공될 수 있다.In addition, the control module may calculate a screen switching frequency based on the screen switching information of the scene content to extract attribute information about the progression speed of the scene content, a management server may be provided.
또한, 상기 제어 모듈은, 상기 속성 정보는 서로 다른 종류의 특징에 대한 N 종류의 속성 정보이고, 상기 선택 정보를 기초로 상기 사용자가 선택한 영상 콘텐츠에 포함된 속성 정보의 종류에 가중치를 부여하여 상기 사용자의 프로파일을 생성하는 것을 특징으로 하는, 관리 서버가 제공될 수 있다.In addition, the control module may be configured to assign a weight to the type of attribute information included in the image content selected by the user based on the selection information, wherein the attribute information is N types of attribute information for different types of characteristics. A management server, characterized in that it creates a user profile, may be provided.
또한, 상기 속성 정보의 시계열적 변화량에 따라 상기 속성 정보별 중요도를 계산하고, 상기 속성 정보 종류에 상기 중요도를 반영하여 상기 사용자의 프로파일을 생성하는 것을 특징으로 하는, 관리 서버가 제공될 수 있다.In addition, a management server may be provided that calculates the importance of each attribute information according to the time-series change of the attribute information and generates the user's profile by reflecting the importance to the type of the attribute information.
또한, 상기 선택 정보는 적어도 둘의 영상 콘텐츠에 상응하며, 상기 사용자의 프로파일은, 적어도 둘의 영상 콘텐츠 각각에 포함된 속성 정보를 비교하여 생성하는 것을 특징으로 하는, 관리 서버가 제공될 수 있다.In addition, the selection information corresponds to at least two video contents, and the user's profile is generated by comparing attribute information included in each of the at least two video contents.
본 발명의 일측면에 따르면, 영상 콘텐츠의 유사도 및 사용자의 선호에 따라 영상 콘텐츠를 추천하는 영상 콘텐츠 플랫폼을 제공하는 방법에 있어서, 사용자가 상기 영상 콘텐츠 플랫폼을 통하여 입력하는 영상 콘텐츠에 대한 선택 정보를 상기 영상 콘텐츠 플랫폼을 실행하는 사용자 단말로부터 수신하는 단계; 및 상기 영상 콘텐츠 플랫폼을 실행하는 사용자 단말을 통하여 영상 콘텐츠를 제공하도록 제어하는 단계를 포함하고, 상기 제어하는 단계는, 영상 콘텐츠의 특징을 기초로 적어도 하나 이상의 장면 콘텐츠로 분할하고, 상기 장면 콘텐츠의 특징에 관한 속성 정보를 상기 장면 콘텐츠로부터 추출하고, 상기 선택 정보를 상기 사용자 단말로부터 획득하고, 상기 선택 정보에 상응하는 영상 콘텐츠에 포함된 속성 정보에 상기 사용자의 선택 정보를 가중치로 반영하여 상기 사용자의 프로파일을 생성하고, 상기 사용자의 프로파일과 영상 콘텐츠의 유사도를 계산하고, 상기 유사도를 기초로 상기 사용자에 대한 추천 영상 콘텐츠로 결정하고, 상기 추천 영상 콘텐츠를 상기 사용자 단말로 제공하도록 제어하는 것을 특징으로 하는, 방법이 제공될 수 있다.According to one aspect of the present invention, in a method for providing a video content platform that recommends video content according to the similarity of the video content and the user's preference, selection information for video content input by a user through the video content platform is provided. receiving from a user terminal running the video content platform; and controlling to provide video content through a user terminal running the video content platform, wherein the controlling comprises dividing the video content into one or more scene contents based on characteristics of the video content, and Attribute information about a feature is extracted from the scene content, the selection information is obtained from the user terminal, and the user's selection information is reflected as a weight in attribute information included in video content corresponding to the selection information, so that the user generating a profile, calculating a similarity between the profile of the user and video content, determining recommended video content for the user based on the similarity, and controlling to provide the recommended video content to the user terminal. To, a method may be provided.
본 발명의 일 실시예에 따른 영상 콘텐츠 플랫폼을 제공하는 서버 및 그 방법은 다음과 같은 효과가 있다.A server and method for providing a video content platform according to an embodiment of the present invention have the following effects.
첫째, 영상 콘텐츠의 장면 별로 속성 정보를 자동으로 추출하여 매핑된 데이터베이스를 구축할 수 있다.First, a mapped database can be constructed by automatically extracting attribute information for each scene of video content.
둘째, 추출된 속성 정보가 다양한 종류이면 각 속성 정보 종류마다 사용자의 상호작용에 관한 가중치 및 속성 자체의 중요도를 반영하여 사용자 프로파일을 생성함으로써, 사용자가 선호하는 속성을 포함하는 영상 콘텐츠를 우선 추천할 수 있다.Second, if the extracted attribute information is of various types, a user profile is created by reflecting the weight of the user's interaction and the importance of the attribute itself for each attribute information type, so that video content including the user's preferred attribute can be recommended first. can
도 1은 본 발명의 일 실시예에 따른 영상 콘텐츠 플랫폼을 제공하는 관리 서버를 나타내는 개념도이다.
도 2는 본 발명의 실시예들에 따른 영상 콘텐츠 플랫폼을 제공하는 방법을 나타내는 플로우 차트이다. 1 is a conceptual diagram illustrating a management server providing a video content platform according to an embodiment of the present invention.
2 is a flowchart illustrating a method of providing a video content platform according to embodiments of the present invention.
이하에서는 본 발명의 구체적인 실시예들에 대하여 도면을 참조하여 상세히 설명한다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings.
아울러 본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description will be omitted.
도 1은 본 발명의 일 실시예에 따른 영상 콘텐츠 플랫폼을 제공하는 관리 서버를 나타내는 개념도이다. 1 is a conceptual diagram illustrating a management server providing a video content platform according to an embodiment of the present invention.
도 1에서 보이는 바와 같이 영상 콘텐츠의 유사도 및 사용자의 선호에 따라 영상 콘텐츠를 추천하는 영상 콘텐츠 플랫폼을 운용하는 관리 서버(010)는 통신 모듈(011) 및 제어 모듈(012)을 포함한다. As shown in FIG. 1 , a management server 010 operating a video content platform that recommends video contents according to the similarity of video contents and user preference includes a
통신 모듈(011)은 사용자가 상기 영상 콘텐츠 플랫폼을 통하여 입력하는 영상 콘텐츠에 대한 선택 정보를 상기 영상 콘텐츠 플랫폼을 실행하는 사용자 단말로부터 수신한다.The
제어 모듈(012)은 상기 영상 콘텐츠 플랫폼을 실행하는 사용자 단말을 통하여 영상 콘텐츠를 제공하도록 제어한다.The control module 012 controls to provide video content through a user terminal running the video content platform.
구체적으로 영상 콘텐츠의 특징을 기초로 적어도 하나 이상의 장면 콘텐츠로 분할하고, 상기 장면 콘텐츠의 특징에 관한 속성 정보를 상기 장면 콘텐츠로부터 추출하고, 상기 선택 정보를 상기 사용자 단말로부터 획득하고, 상기 선택 정보에 상응하는 영상 콘텐츠에 포함된 속성 정보에 상기 사용자의 선택 정보를 가중치로 반영하여 상기 사용자의 프로파일을 생성하고, 상기 사용자의 프로파일과 영상 콘텐츠의 유사도를 계산하고, 상기 유사도를 기초로 상기 사용자에 대한 추천 영상 콘텐츠로 결정하고, 상기 추천 영상 콘텐츠를 상기 사용자 단말로 제공하도록 제어한다.Specifically, video content is divided into at least one or more scene contents based on characteristics, attribute information about the characteristics of the scene contents is extracted from the scene contents, the selection information is obtained from the user terminal, and the selection information A profile of the user is created by reflecting the user's selection information as a weight in attribute information included in the corresponding video content, a similarity between the user's profile and the video content is calculated, and based on the similarity, information about the user is generated. It determines recommended video content, and controls to provide the recommended video content to the user terminal.
영상 콘텐츠에는 RGB 데이터, HSV 데이터 등 색상 배경, 주요 색상 전경, 강조 색 등 색감에 관한 속성 정보를 포함할 수 있다.Image content may include color attribute information such as a color background such as RGB data and HSV data, a foreground color of a main color, and an accent color.
또한, 영상 콘텐츠의 등장인물 얼굴의 전체적인 위치 및 얼굴 구성요소들의 경향성으로 나타난 감정이나, 등장인물이 없더라도 주요 색상 배경, 주요 색상 전경, 강조 색, 장면을 구성하는 사물 등을 통하여 나타난 감정에 관한 속성 정보를 포함할 수 있다.In addition, the properties related to the emotion expressed through the overall position of the face of the character in the video content and the tendency of the facial components, or the emotion expressed through the main color background, the main color foreground, the emphasized color, and the objects constituting the scene even if there is no character information may be included.
그리고 영상 콘텐츠는 장면 속 색상 데이터(RGB, HSV) 변화 흐름으로 나타나는 영상의 전체적인 진행 속도에 관한 속성 정보를 포함할 수 있다.In addition, the image content may include attribute information about the overall progress speed of the image represented by the change flow of color data (RGB, HSV) in the scene.
영상 콘텐츠에 등장하는 사물로 드러나는 속성 정보도 있을 수 있다.There may also be attribute information revealed as an object appearing in video content.
즉, 속성 정보는 영상 콘텐츠 또는 장면 콘텐츠에 나타나는 감정, 진행 속도, 색감, 사물 정보 등일 수 있다.That is, the attribute information may include emotion, progress speed, color, and object information appearing in video content or scene content.
감정에 대한 속성 정보는 제어 모듈(012)에 의하여 상기 장면 콘텐츠에 인물의 얼굴이 포함된 경우 상기 얼굴의 위치 및 구성요소를 감지하고 감정 분석 모델에 적용하여 추출될 수 있다.Attribute information on emotion may be extracted by the control module 012 by detecting the location and components of the face when the scene content includes the face and applying the emotion analysis model.
상기 장면 콘텐츠에 인물의 얼굴이 포함되지 않은 경우에는 상기 장면 콘텐츠의 색상 배경, 색상 전경 또는 강조 색 중에서 적어도 하나를 분석하여 상기 장면 콘텐츠의 감정에 대한 속성 정보를 추출할 수 있다.When the scene content does not include a person's face, at least one of a color background, a color foreground, or an emphasis color of the scene content may be analyzed to extract attribute information about emotion of the scene content.
한편, 제어 모듈(012)이 영상 콘텐츠를 영상 콘텐츠의 특징을 기초로 적어도 하나 이상의 장면 콘텐츠로 분할함으로써, 하나의 영상에 포함될 수 있는 서로 다른 감정, 진행 속도, 색감 등의 속성 정보를 세분하여 추출할 수 있다. 각 장면 콘텐츠에 해당하는 프레임마다 다양한 알고리즘을 적용시켜 속성 정보를 추출함으로써 알고리즘을 단독 사용했을 때의 한계점을 보완하여 알고리즘의 정확성을 향상시킬 수 있다.On the other hand, the control module 012 divides the video content into one or more scene contents based on the characteristics of the video content, thereby subdividing and extracting attribute information such as emotion, progress speed, and color that may be included in one video. can do. By extracting attribute information by applying various algorithms to each frame corresponding to each scene content, the accuracy of the algorithm can be improved by supplementing the limitations of using the algorithm alone.
또한, 장면 콘텐츠로 분할하는 과정에서 영상 콘텐츠의 다운 스케일링 및 프레임 스킵을 수반함으로써, 장면 콘텐츠를 분할하는데 필요한 전체 연산량을 감소시킬 수 있다. In addition, by accompanying downscaling and frame skipping of image content in the process of dividing into scene content, the total amount of computation required to divide scene content can be reduced.
영상 콘텐츠의 주요 색상 배경, 주요 색상 전경, 강조 색을 분석하는데 각 프레임의 RGB 데이터를 분석하면, 평균 픽셀 intensity를 기반으로 페이드인 / 아웃 등 검출할 수 있고, 프레임의 HSV 데이터를 분석하면 프레임의 사소한 변화를 정확히 검출할 수 있다. 영상의 진행에 따라 연산된 수치를 사전 학습된 모델에 적용시켜 이전 프레임과의 비교를 통해 장면 변경 여부를 감지하여 정확도를 향상시킬 수 있다.By analyzing the RGB data of each frame to analyze the main color background, main color foreground, and accent color of video content, fade-in/out etc. can be detected based on the average pixel intensity, and by analyzing the HSV data of the frame, the Minor changes can be accurately detected. Accuracy can be improved by detecting whether a scene has changed through comparison with a previous frame by applying numerical values calculated according to the progress of the video to a pre-learned model.
상기 장면 콘텐츠로 영상 콘텐츠를 분할하는 것과 유사하게 상기 장면 콘텐츠의 색상 배경, 색상 전경 또는 강조 색 중 적어도 하나를 분석하여 상기 장면 콘텐츠의 화면 전환 정보를 추출할 수 있다. 화면 전환 여부와 장면 변경 여부의 구별은 색상 배경, 색상 전경 또는 강조 색 중에서 적어도 하나의 변화 흐름을 분석한 결과 소정의 임계값에 따라 결정될 수 있다.Similar to dividing video content into the scene content, screen transition information of the scene content may be extracted by analyzing at least one of a color background, a color foreground, or an accent color of the scene content. Whether a scene is changed or not may be determined according to a predetermined threshold as a result of analyzing a change flow of at least one of a color background, a color foreground, and an accent color.
상기 장면 콘텐츠의 진행 속도에 대한 속성 정보는 상기 장면 콘텐츠의 화면 전환 정보를 기초로 화면 전환 빈도를 연산하여 추출될 수 있다. 예를 들어, 상기 장면 콘텐츠에서 화면 전환 빈도가 높을수록 진행 속도가 빠르다고 추출될 수 있다.Attribute information about the progression speed of the scene content may be extracted by calculating a screen change frequency based on screen change information of the scene content. For example, it may be extracted that the progress speed is faster as the screen switching frequency in the scene content is higher.
이렇게 속성 정보는 상기 속성 정보는 서로 다른 종류의 특징에 대한 N 종류의 속성 정보일 수 있다.In this way, the attribute information may be N types of attribute information for different types of characteristics.
N 종류의 속성 정보 중에서 어떤 종류의 속성 정보가 실제로 사용자가 선호하는지 알 수 있도록 상기 선택 정보를 기초로 상기 사용자가 선택한 영상 콘텐츠에 포함된 속성 정보의 종류에 가중치를 부여하여 상기 사용자의 프로파일을 생성할 수 있다. 여기서 사용자와 영상 콘텐츠의 상호작용을 나타내는 선택 정보는 누적된 사용자 로그 정보일 수 있다.Based on the selection information, the type of attribute information included in the video content selected by the user is weighted to determine which type of attribute information the user actually prefers among N types of attribute information to generate the user's profile. can do. Here, the selection information representing the interaction between the user and the image content may be accumulated user log information.
또는, 사용자 프로파일이 사용자의 선호를 반영하는 정확도를 향상시킬 수 있도록 상기 속성 정보의 시계열적 변화량에 따라 상기 속성 정보별 중요도를 계산하고, 상기 속성 정보 종류마다 상기 가중치를 반영하는 것과 마찬가지로 상기 중요도를 추가로 반영하여 상기 사용자의 프로파일을 생성할 수 있다.Alternatively, the importance of each attribute information is calculated according to the time-series variation of the attribute information so that the user profile can improve the accuracy of reflecting the user's preference, and the importance is calculated similarly to reflecting the weight for each attribute information type. A profile of the user may be created by further reflecting.
다만, 상기 사용자가 최초로 상기 영상 콘텐츠 플랫폼을 이용하였다면, 상기 사용자의 선호를 나타내는 선택 정보가 누적되어 있지 않아 속성 정보마다 가중치를 반영할 수 없다. 이때에는 적어도 둘 이상의 영상 콘텐츠를 사용자가 선택할 때까지 무작위로 추천 영상 콘텐츠로 결정할 수 있다. 적어도 둘의 영상 콘텐츠 각각에 포함된 속성 정보를 비교하여 유사도를 계산하여 이를 기초로 추천 영상 콘텐츠를 결정할 수 있다. 또는, 다른 사용자의 선호를 나타내는 선택 정보를 기본 가중치로 정하여 사용자 프로파일을 생성할 수 있다. However, if the user uses the video content platform for the first time, selection information representing the user's preference is not accumulated, so that weight cannot be reflected for each attribute information. In this case, at least two or more video contents may be randomly determined as recommended video contents until the user selects them. A similarity may be calculated by comparing attribute information included in at least two pieces of video content, and recommended video content may be determined based on the similarity. Alternatively, a user profile may be created by setting selection information representing preferences of other users as a basic weight.
다음으로 도 2는 본 발명의 실시예들에 따른 영상 콘텐츠 플랫폼을 제공하는 방법을 나타내는 플로우 차트이다. 도 2을 참조하여 설명될 영상 콘텐츠 플랫폼을 제공하는 방법 은 도 1을 참조하여 설명된 영상 콘텐츠 플랫폼을 제공하는 관리 서버(010)의 작동들을 포함할 수 있으나, 앞서 설명한 바에 따라 생략한다.Next, FIG. 2 is a flow chart illustrating a method of providing a video content platform according to embodiments of the present invention. The method for providing a video content platform to be described with reference to FIG. 2 may include operations of the management server 010 for providing the video content platform described with reference to FIG. 1 , but will be omitted as described above.
이상 본 발명의 실시예에 따른 영상 콘텐츠 플랫폼을 제공하는 서버 및 그 방법을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시 형태들을 조합, 치환하여 적시되지 않은 실시 형태를 실시할 수 있으나, 이 역시 본 발명의 권리범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.Although the server and method for providing a video content platform according to an embodiment of the present invention have been described as specific embodiments, this is only an example and the present invention is not limited thereto, and the widest should be construed as having a scope. A person skilled in the art may implement an embodiment that is not indicated by combining or substituting the disclosed embodiments, but this also does not deviate from the scope of the present invention. In addition, those skilled in the art can easily change or modify the disclosed embodiments based on this specification, and it is clear that such changes or modifications also fall within the scope of the present invention.
010 : 관리 서버
011 : 통신 모듈
012 : 제어 모듈010: management server
011: communication module
012: control module
Claims (9)
사용자가 상기 영상 콘텐츠 플랫폼을 통하여 입력하는 영상 콘텐츠에 대한 선택 정보를 상기 영상 콘텐츠 플랫폼을 실행하는 사용자 단말로부터 수신하는 통신 모듈; 및
상기 영상 콘텐츠 플랫폼을 실행하는 사용자 단말을 통하여 영상 콘텐츠를 제공하도록 제어하되,
영상 콘텐츠의 특징을 기초로 적어도 하나 이상의 장면 콘텐츠로 분할하고,
상기 장면 콘텐츠의 특징에 관한 속성 정보를 상기 장면 콘텐츠로부터 추출하고,
상기 선택 정보를 상기 사용자 단말로부터 획득하고,
상기 선택 정보에 상응하는 영상 콘텐츠에 포함된 속성 정보에 상기 사용자의 선택 정보를 가중치로 반영하여 상기 사용자의 프로파일을 생성하고,
상기 사용자의 프로파일과 영상 콘텐츠의 유사도를 계산하고,
상기 유사도를 기초로 상기 사용자에 대한 추천 영상 콘텐츠로 결정하고,
상기 추천 영상 콘텐츠를 상기 사용자 단말로 제공하도록 제어하는 제어 모듈; 을 포함하는 것을 특징으로 하는,
관리 서버.A management server that provides a video content platform that recommends video contents according to similarity of video contents and user preference,
a communication module configured to receive selection information about video content input by a user through the video content platform from a user terminal executing the video content platform; and
Control to provide video content through a user terminal running the video content platform,
Dividing video content into at least one scene content based on characteristics of the video content;
Extracting attribute information about characteristics of the scene content from the scene content;
obtaining the selection information from the user terminal;
Creating a profile of the user by reflecting the selection information of the user as a weight in attribute information included in video content corresponding to the selection information;
Calculate the similarity between the user's profile and video content;
Determining recommended video content for the user based on the similarity;
a control module controlling to provide the recommended video content to the user terminal; Characterized in that it includes,
management server.
상기 제어 모듈은,
상기 장면 콘텐츠에 인물의 얼굴이 포함된 경우 상기 얼굴의 위치 및 구성요소를 감지하고 감정 분석 모델에 적용하여 상기 장면 콘텐츠의 감정에 대한 속성 정보를 추출하는 것을 특징으로 하는,
관리 서버.According to claim 1,
The control module,
Characterized in that, when a face of a person is included in the scene content, attribute information about the emotion of the scene content is extracted by detecting the position and components of the face and applying it to an emotion analysis model.
management server.
상기 제어 모듈은,
상기 장면 콘텐츠에 인물의 얼굴이 포함되지 않은 경우 상기 장면 콘텐츠의 색상 배경, 색상 전경, 강조 색 또는 사물 태그 중에서 적어도 하나를 분석하여 상기 장면 콘텐츠의 감정에 대한 속성 정보를 추출하는 것을 특징으로 하는,
관리 서버.According to claim 1,
The control module,
Characterized in that when the scene content does not include a person's face, at least one of a color background, a color foreground, an accent color, or an object tag of the scene content is analyzed to extract attribute information about the emotion of the scene content.
management server.
상기 제어 모듈은,
상기 장면 콘텐츠의 색상 배경, 색상 전경 또는 강조 색 중 적어도 하나를 분석하여 상기 장면 콘텐츠의 화면 전환 정보를 추출하는 것을 특징으로 하는,
관리 서버.According to claim 1,
The control module,
Characterized in that, screen transition information of the scene content is extracted by analyzing at least one of a color background, a color foreground, or an accent color of the scene content.
management server.
상기 제어 모듈은,
상기 장면 콘텐츠의 화면 전환 정보를 기초로 화면 전환 빈도를 연산하여 상기 장면 콘텐츠의 진행 속도에 대한 속성 정보를 추출하는 것을 특징으로 하는,
관리 서버.According to claim 4,
The control module,
Characterized in that, based on the screen change information of the scene content, a screen change frequency is calculated to extract attribute information about the progress speed of the scene content.
management server.
상기 제어 모듈은,
상기 속성 정보는 서로 다른 종류의 특징에 대한 N 종류의 속성 정보이고,
상기 선택 정보를 기초로 상기 사용자가 선택한 영상 콘텐츠에 포함된 속성 정보의 종류에 가중치를 부여하여 상기 사용자의 프로파일을 생성하는 것을 특징으로 하는,
관리 서버.According to claim 1,
The control module,
The attribute information is N types of attribute information for different types of characteristics;
Characterized in that the user's profile is created by assigning a weight to the type of attribute information included in the video content selected by the user based on the selection information.
management server.
상기 속성 정보의 시계열적 변화량에 따라 상기 속성 정보별 중요도를 계산하고,
상기 속성 정보 종류에 상기 중요도를 반영하여 상기 사용자의 프로파일을 생성하는 것을 특징으로 하는,
관리 서버.According to claim 6,
Calculate the importance of each attribute information according to the amount of time-series change of the attribute information;
Characterized in that the profile of the user is created by reflecting the importance to the type of attribute information.
management server.
상기 선택 정보는 적어도 둘의 영상 콘텐츠에 상응하며,
상기 사용자의 프로파일은,
적어도 둘의 영상 콘텐츠 각각에 포함된 속성 정보를 비교하여 생성하는 것을 특징으로 하는,
관리 서버.According to claim 1,
The selection information corresponds to at least two video contents,
The user's profile is
Characterized in that the attribute information included in each of the at least two video contents is compared and generated.
management server.
사용자가 상기 영상 콘텐츠 플랫폼을 통하여 입력하는 영상 콘텐츠에 대한 선택 정보를 상기 영상 콘텐츠 플랫폼을 실행하는 사용자 단말로부터 수신하는 단계; 및
상기 영상 콘텐츠 플랫폼을 실행하는 사용자 단말을 통하여 영상 콘텐츠를 제공하도록 제어하는 단계를 포함하고,
상기 제어하는 단계는,
영상 콘텐츠의 특징을 기초로 적어도 하나 이상의 장면 콘텐츠로 분할하고,
상기 장면 콘텐츠의 특징에 관한 속성 정보를 상기 장면 콘텐츠로부터 추출하고,
상기 선택 정보를 상기 사용자 단말로부터 획득하고,
상기 선택 정보에 상응하는 영상 콘텐츠에 포함된 속성 정보에 상기 사용자의 선택 정보를 가중치로 반영하여 상기 사용자의 프로파일을 생성하고,
상기 사용자의 프로파일과 영상 콘텐츠의 유사도를 계산하고,
상기 유사도를 기초로 상기 사용자에 대한 추천 영상 콘텐츠로 결정하고,
상기 추천 영상 콘텐츠를 상기 사용자 단말로 제공하도록 제어하는 것을 특징으로 하는,
방법.A method for providing a video content platform that recommends video contents according to similarity of video contents and user preference, the method comprising:
receiving selection information about video content input by a user through the video content platform from a user terminal executing the video content platform; and
Controlling to provide video content through a user terminal running the video content platform;
The control step is
Dividing video content into at least one scene content based on characteristics of the video content;
Extracting attribute information about characteristics of the scene content from the scene content;
obtaining the selection information from the user terminal;
Creating a profile of the user by reflecting the selection information of the user as a weight in attribute information included in video content corresponding to the selection information;
Calculate the similarity between the user's profile and video content;
Determining recommended video content for the user based on the similarity;
Characterized in that the control to provide the recommended video content to the user terminal,
method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210085201A KR102555524B1 (en) | 2021-06-29 | 2021-06-29 | Server for providing video contents platform and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210085201A KR102555524B1 (en) | 2021-06-29 | 2021-06-29 | Server for providing video contents platform and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230002000A true KR20230002000A (en) | 2023-01-05 |
| KR102555524B1 KR102555524B1 (en) | 2023-07-21 |
Family
ID=84925946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210085201A KR102555524B1 (en) | 2021-06-29 | 2021-06-29 | Server for providing video contents platform and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102555524B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100430272B1 (en) * | 1999-09-27 | 2004-05-06 | 엘지전자 주식회사 | User profile and method of multi view display based on user preference |
| JP2011124656A (en) * | 2009-12-08 | 2011-06-23 | Nomura Research Institute Ltd | Video content recommendation management device, method of instructing reproduction of scene in video content, and program thereof |
| KR20170098380A (en) * | 2016-02-19 | 2017-08-30 | 한국산업기술대학교산학협력단 | Method and apparatus for sharing user's feeling about contents |
| KR101808739B1 (en) * | 2014-12-31 | 2017-12-14 | 한국전자통신연구원 | Apparatus and Method for recommending a content based on emotion |
| KR20200108484A (en) * | 2018-03-12 | 2020-09-18 | 라인플러스 주식회사 | An augmented reality providing device for recognizing a situation using a neural network, a providing method, and a computer program stored in a medium to execute the method |
-
2021
- 2021-06-29 KR KR1020210085201A patent/KR102555524B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100430272B1 (en) * | 1999-09-27 | 2004-05-06 | 엘지전자 주식회사 | User profile and method of multi view display based on user preference |
| JP2011124656A (en) * | 2009-12-08 | 2011-06-23 | Nomura Research Institute Ltd | Video content recommendation management device, method of instructing reproduction of scene in video content, and program thereof |
| KR101808739B1 (en) * | 2014-12-31 | 2017-12-14 | 한국전자통신연구원 | Apparatus and Method for recommending a content based on emotion |
| KR20170098380A (en) * | 2016-02-19 | 2017-08-30 | 한국산업기술대학교산학협력단 | Method and apparatus for sharing user's feeling about contents |
| KR20200108484A (en) * | 2018-03-12 | 2020-09-18 | 라인플러스 주식회사 | An augmented reality providing device for recognizing a situation using a neural network, a providing method, and a computer program stored in a medium to execute the method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102555524B1 (en) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2693906C2 (en) | Rule-based analysis of video importance | |
| US10922716B2 (en) | Creating targeted content based on detected characteristics of an augmented reality scene | |
| US10956784B2 (en) | Neural network-based image manipulation | |
| US9201958B2 (en) | Video object retrieval system and method | |
| CN110503124A (en) | Vision like numeral image is identified based on the perceptual property that user selects using based on deep neural network model | |
| CN108022270B (en) | Image patch matching using prediction-based probabilistic sampling | |
| CN109922379B (en) | Advertisement video optimization method, device and equipment and computer readable storage medium | |
| KR102111720B1 (en) | Method for design recommending using cloud literary work analysis | |
| KR102102164B1 (en) | Method, apparatus and computer program for pre-processing video | |
| KR102195642B1 (en) | Terminal and apparatus for providing search information based on color information | |
| US20190228273A1 (en) | Identifying parameter image adjustments using image variation and sequential processing | |
| CN104041063B (en) | The related information storehouse of video makes and method, platform and the system of video playback | |
| TW201915946A (en) | Local dynamic image generation method and device | |
| CN104969240A (en) | Method and system for image processing | |
| KR20210007276A (en) | Image generation apparatus and method thereof | |
| KR20220098702A (en) | Guide information provision system to enhance the artist's reputation | |
| KR20230044589A (en) | Method for providing video content platform recommendation service | |
| KR101720584B1 (en) | Method, server and computer program for generating thumbnail image | |
| CN114187558A (en) | Video scene recognition method and device, computer equipment and storage medium | |
| CN111597361B (en) | Multimedia data processing method, device, storage medium and equipment | |
| CN111683280B (en) | Video processing method and device and electronic equipment | |
| US11423654B2 (en) | Identification of continuity errors in video by automatically detecting visual inconsistencies in video frames | |
| CN113128604A (en) | Page element identification method and device, electronic equipment and storage medium | |
| KR102555524B1 (en) | Server for providing video contents platform and method thereof | |
| KR20230044588A (en) | Apparatus for providing video content platform service based on user matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |