KR102261221B1 - System And Method For Obtaining Image Information, And Method For Displaying Image Acquisition Information - Google Patents

System And Method For Obtaining Image Information, And Method For Displaying Image Acquisition Information Download PDF

Info

Publication number
KR102261221B1
KR102261221B1 KR1020200042102A KR20200042102A KR102261221B1 KR 102261221 B1 KR102261221 B1 KR 102261221B1 KR 1020200042102 A KR1020200042102 A KR 1020200042102A KR 20200042102 A KR20200042102 A KR 20200042102A KR 102261221 B1 KR102261221 B1 KR 102261221B1
Authority
KR
South Korea
Prior art keywords
character
person
image
appearance
information
Prior art date
Application number
KR1020200042102A
Other languages
Korean (ko)
Inventor
손인기
백종섭
박성훈
김재성
Original Assignee
(주)제타미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제타미디어 filed Critical (주)제타미디어
Priority to KR1020200042102A priority Critical patent/KR102261221B1/en
Priority to KR1020210038597A priority patent/KR20210124906A/en
Application granted granted Critical
Publication of KR102261221B1 publication Critical patent/KR102261221B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G06K9/00221
    • G06K9/00711
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

The present invention relates to an image information acquisition system and an image information display method thereof. According to the present invention, the image information acquisition system comprises a tracking information acquisition unit (130) decomposing an uploaded video into frame units to extract an image of a character, comparing the image of the character appearing in each frame with a learning model to identify the character, and editing character data for each playback section of the video according to a determination result to generate appearance log data. Accordingly, since an intuitive and easy-to-use user interface (UI)/user experience (UX)-based menu screen within an area not interfering with video viewing so that information on appearance time of each character is provided during video playback, a user can select playback from the point of appearance of a desired character to selectively watch only scenes of the desired character, thereby satisfying the user. In addition, detailed information about a character is provided during video playback, thereby removing inconvenience of a viewer searching for information about the character in an external system.

Description

영상정보 획득 시스템 및 영상정보 표시 방법{System And Method For Obtaining Image Information, And Method For Displaying Image Acquisition Information} Image information acquisition system and image information display method {System And Method For Obtaining Image Information, And Method For Displaying Image Acquisition Information}

본 발명은 영상 정보 제공 기술에 관한 것으로, 특히 영상을 분석하여 영상 시청 시에 등장인물별 등장시점 정보를 제공함으로써 원하는 인물의 등장시점부터 재생을 선택할 수 있도록 하는 것은 물론 재생 영상 내의 등장인물의 정보를 제공할 수 있도록 한 영상정보 획득 시스템 및 영상정보 표시 방법에 관한 것이다. The present invention relates to a technology for providing image information, and in particular, by analyzing an image and providing information on the appearance time of each character when viewing the image, it enables the user to select playback from the appearance time of the desired person as well as information on the character in the reproduced image. It relates to a system for obtaining image information and a method for displaying image information so as to provide

최근 인터넷 등의 통신망의 확대와 더불어 다양한 동영상 서비스가 제공되고 있다. Recently, with the expansion of communication networks such as the Internet, various video services are being provided.

그런데, 종래에는 영상을 시청하는 도중에 출연한 인물의 정보를 알고 싶은 경우 시청자는 현재 시청중이던 영상의 재생을 멈추고 다른 기기를 통해 직접 출연 인물의 정보를 찾아야 하는 불편함을 감수하여야 한다. However, in the related art, if the viewer wants to know the information of the person who appeared while watching the video, the viewer has to take the inconvenience of stopping the playback of the video currently being viewed and finding the information of the person directly through another device.

또한 종래에는 현재 보고 있는 영상에서 특정 인물이 출현한 부분만 보고 싶은 경우 이러한 출현시점 정보를 제공하지 않고 있으므로 시청자가 직접 영상 전체를 확인하여 원하는 인물의 출현 시점을 확인한 후 그 시점부터 재생을 하여야 하는 불편함이 있었다. Also, in the prior art, if you want to see only the part where a specific person appears in the video you are currently watching, such information on the time of appearance is not provided. Therefore, the viewer directly checks the entire video to confirm the time of appearance of the desired person, and then plays the video from that point. There was discomfort.

한편, 최근 인공지능 기술이 발전하면서 대용량의 이미지 인식 및 동영상 인식을 위한 딥러닝 기술도 연구개발을 통해 발전하여 다양한 알고리즘이 활용되고 있다. On the other hand, with the recent development of artificial intelligence technology, deep learning technology for large-capacity image recognition and video recognition has also been developed through R&D, and various algorithms are being utilized.

종래기술로 제시된 대한민국 등록특허 10-2027878은 영상물을 수집하여 영상물 내 미술품 위치를 파악하여 주석을 달아 저장하여 인공지능의 딥러닝 알고리즘으로 학습하고, 저작권이 수반된 미술품들의 이미지 특징을 추출, 저장하여, 질의(Query) 영상물 내에 미술품이 포함되어 있는지 여부 및 포함된 미술품에 의해 타인의 저작권이 침해되는지 여부를 판단할 수 있는 시스템 및 방법에 관한 것이다. Republic of Korea Patent No. 10-2027878, presented as a prior art, collects images, identifies the location of artworks in the images, annotates them, stores them, learns with an artificial intelligence deep learning algorithm, and extracts and stores image features of copyrighted artworks. , Query It relates to a system and method that can determine whether an artwork is included in the video and whether the copyright of others is infringed by the included artwork.

등록특허 10-2027878 "딥러닝 기술과 이미지 특징 추출 기술을 결합한 영상물 내 미술품 인식 방법"Registered Patent 10-2027878 "Method for recognizing artworks in video by combining deep learning technology and image feature extraction technology"

본 발명은 종래의 문제점을 해결하기 위하여, 영상을 분석하여 일정구간별로 등장인물을 판별하고 그 판별결과를 참조하여 각 등장인물들의 출연 지점 정보를 생성하는데 그 목적이 있다. An object of the present invention is to analyze an image to determine a character for each predetermined section, and to generate information on an appearance point of each character with reference to the determination result in order to solve the conventional problem.

또한, 본 발명은 영상을 재생하면서 상기 등장인물의 출연 지점 정보를 참조하여 그 영상 내의 등장인물의 등장 시점을 파악하고 그 파악된 결과를 토대로 등장인물들의 각각의 재생시점 정보를 제공하여 시청자가 원하는 인물의 등장시점부터 재생을 할 수 있도록 하는데 목적이 있다. In addition, the present invention identifies the appearance time of the character in the image with reference to the appearance point information of the character while playing the image, and provides each playback time information of the characters based on the identified result, so that the viewer wants The purpose is to make it possible to reproduce the character from the point of appearance.

또한, 본 발명은 영상 시청 중에 현재 재생되는 구간의 등장인물 각각의 상세정보(profile)를 제공하는데 목적이 있다. Another object of the present invention is to provide detailed information (profile) of each character in a section currently being reproduced while watching an image.

또한, 본 발명은 영상 재생 중에 등장인물의 재생시점 정보 또는/및 등장인물의 정보를 제공하기 위한 화면에 영상 시청에 방해되지 않도록 직관적이고 사용이 쉬운 UI/UX(User Interface/User Experience)를 반영하는데 목적이 있다. In addition, the present invention reflects an intuitive and easy-to-use UI/UX (User Interface/User Experience) so as not to interfere with video viewing on a screen for providing information on the playback time of the character or/and the character during video playback. there is a purpose to

본 발명에서 상기의 목적을 달성하기 위한 영상정보 획득 시스템은, 학습할 인물 이미지, 그 학습할 인물 이미지를 가공한 데이터셋, 상기 데이터셋을 딥러닝하여 생성한 학습모델, 영상파일, 및 그 영상파일의 출연 로그 데이터를 저장하는 데이터 저장부; 상기 데이터 저장부에서 다운로드한 영상을 프레임 단위로 분해하여 등장인물의 이미지를 추출한 후 각 프레임에 등장한 인물의 이미지를 상기 데이터 저장부에서 다운로드한 학습 모델과 비교하여 누구인지 판단하고 그 판단에 따라 영상의 재생구간별로 등장인물 데이터를 편집하여 출연 로그 데이터를 생성하는 트래킹 정보 획득부; 및 트래킹 로그를 생성할 영상을 상기 데이터 저장부에 업로드하고 그 영상에 대한 출연 로그 데이터가 상기 트래킹 정보 획득부에서 생성되어 제공된 후 클라이언트에서의 요청에 따라 영상 스트리밍 서비스와 출연 로그 데이터를 제공하는 서비스 서버를 포함한다. In the present invention, the image information acquisition system for achieving the above object includes a person image to be learned, a dataset obtained by processing the person image to be learned, a learning model generated by deep learning the dataset, an image file, and an image thereof. a data storage unit for storing appearance log data of a file; After decomposing the image downloaded from the data storage unit into frame units to extract the image of the character, the image of the character appearing in each frame is compared with the learning model downloaded from the data storage unit to determine who it is, and the image according to the determination a tracking information acquisition unit that edits character data for each play section of the and generates appearance log data; and uploading an image for generating a tracking log to the data storage unit, and providing an image streaming service and appearance log data according to a request from a client after appearance log data for the image is generated and provided by the tracking information obtaining unit Includes server.

상기 데이터 저장부는 스토리지(storage), DB서버 또는 파일서버를 적어도 하나 포함하여 구성한다. The data storage unit is configured to include at least one storage (storage), a DB server or a file server.

상기 트래킹 정보 획득부는 복수의 AI서버를 구비하여 트래킹 로그 작업 시에 적어도 하나의 AI서버에서 트래킹 로그 작업을 수행하는 것을 특징으로 한다. The tracking information acquisition unit is characterized in that it has a plurality of AI servers to perform the tracking log operation in at least one AI server when the tracking log operation.

상기 구성에 있어서, 서비스 서버, 데이터 저장부 및 트래킹 정보 획득부는 유선 또는 무선 통신방식은 물론 내부통신망을 이용한 직접적 연결방식 또는 외부통신망을 이용한 원격 연결방식 중 적어도 하나의 통신방식으로 네트워크를 구성하는 것을 특징으로 한다. In the above configuration, the service server, the data storage unit and the tracking information obtaining unit configure the network in at least one communication method of a direct connection method using an internal communication network or a remote connection method using an external communication network as well as a wired or wireless communication method. characterized.

또한, 본 발명에서 상기의 목적을 달성하기 위한 영상정보 획득 방법은, 트래킹 로그 생성 요청이 확인되면 해당 영상을 다운로드하는 단계; 상기 다운로드된 영상을 프레임단위로 분해하여 얼굴이미지를 추출하는 단계; 상기 추출된 얼굴이미지를 학습모델과 비교하여 영상의 구간별 등장인물들을 식별하고 그 식별결과에 따라 등장인물별 트래킹 로그를 작성하는 단계; 및 상기 작성된 트래킹 로그를 기반으로 영상의 출연 로그 데이터를 생성하는 단계를 포함한다. In addition, the method for obtaining image information for achieving the above object in the present invention comprises: downloading a corresponding image when a tracking log generation request is confirmed; extracting a face image by decomposing the downloaded image into frame units; comparing the extracted face image with a learning model to identify characters for each section of the image, and creating a tracking log for each character according to the identification result; and generating appearance log data of an image based on the written tracking log.

또한, 본 발명에서 상기의 목적을 달성하기 위한 영상정보 표시 방법은, 클라이언트의 요청에 따라 해당 영상을 재생하는 단계; 영상을 스트리밍 서비스하면서 시청화면 하단에 표시된 타임그래프 아이콘이 클릭되는지 확인하는 단계; 상기 타임그래프 아이콘이 클릭되면 시청화면에 현재 재생구간의 등장인물에 대한 인물 타임그래프를 표시하고, 특정인물의 타임그래프 상의 임의의 지점이 클릭되는지 확인하는 단계; 특정인물이 등장하는 부분부터 시청하기 위해 상기 타임그래프 상의 임의의 지점이 클릭되면 해당 클릭된 지점으로 재생위치를 이동하여 해당 인물이 등장하는 영상을 재생하는 단계; 및 상기에서 재생지점을 이동하여 영상을 재생하거나 상기 표시된 타임그래프가 클릭됨이 없이 일정시간이 경과되면 시청화면에 표시된 타임그래프를 오프시키는 단계를 포함한다. In addition, in the present invention, the image information display method for achieving the above object comprises the steps of: reproducing a corresponding image according to a request of a client; Checking whether the time graph icon displayed at the bottom of the viewing screen is clicked while streaming the video; displaying a person time graph for a character in the current playback section on a viewing screen when the time graph icon is clicked, and checking whether an arbitrary point on the time graph of a specific person is clicked; reproducing an image in which a corresponding person appears by moving a playback position to the clicked point when an arbitrary point on the time graph is clicked to view a portion from which a specific person appears; and turning off the time graph displayed on the viewing screen when a predetermined time elapses without playing the image by moving the playback point or clicking the displayed time graph.

본 발명에서 상기의 목적을 달성하기 위한 영상정보 표시 방법은, 영상 스트리밍 서비스를 제공하면서 등장인물 아이콘이 클릭되는지 확인하는 단계; 상기 등장인물 아이콘이 클릭되면 시청화면의 일측에 현재 재생구간의 등장인물들의 썸네일을 표시하는 단계; 상기 특정인물의 썸네일이 클릭되면 해당 인물의 상세 정보를 표시하는 단계; 및 일정시간 동안 상기 등장인물들의 썸네일이 클릭되지 않거나 상기 등장인물들의 재생구간이 종료되면 특정인물의 상세정보 표시 또는/및 등장인물 썸네일 표시를 오프시키는 단계를 포함한다. In the present invention, there is provided a method for displaying image information for achieving the above object, the method comprising: checking whether a character icon is clicked while providing a video streaming service; displaying thumbnails of characters in the current playback section on one side of a viewing screen when the character icon is clicked; displaying detailed information of the specific person when the thumbnail of the specific person is clicked; and turning off the detailed information display of the specific person and/or the character thumbnail display when the thumbnails of the characters are not clicked for a certain period of time or the playback section of the characters ends.

또한, 본 발명에서 상기의 목적을 달성하기 위한 영상정보 표시 방법은, 영상 스트리밍 서비스가 제공되는 동시에 시청화면의 콘트롤 영역에 인물타임그래프 및 등장인물 아이콘을 표시하는 단계; 상기 인물타임 그래프가 클릭되면 현재 재생구간의 등장인물별 타임그래프를 시청화면에 표시하는 단계; 상기 타임그래프 중 임의의 인물 타임그래프 상의 임의의 지점이 클릭되면 해당 위치로 이동하여 재생하는 단계; 상기 등장인물 아이콘이 클릭되면 현재 재생구간의 등장인물별 썸네일을 시청화면에 표시하는 단계; 및 상기 등장인물별 썸네일 중 임의의 인물 썸네일이 클릭되면 해당 인물의 상세정보를 시청화면에 표시하는 단계를 포함한다. In addition, in the present invention, the image information display method for achieving the above object comprises: displaying a person time graph and a character icon in a control area of a viewing screen while a video streaming service is provided; displaying a time graph for each character of the current playback section on a viewing screen when the person time graph is clicked; When a certain point on the time graph of any person in the time graph is clicked, moving to the corresponding location and playing it; displaying thumbnails for each character of the current playback section on a viewing screen when the character icon is clicked; and displaying detailed information of the person on the viewing screen when a thumbnail of any person among the thumbnails for each person is clicked.

상기와 같은 본 발명은 영상 재생 중에 등장인물별 등장시점 정보를 제공하여 원하는 인물의 등장시점부터 재생을 선택할 수 있도록 함으로써 시청자가 자신이 원하는 인물의 등장 장면만을 선택적으로 시청할 수 있도록 하여 만족감을 충족시킬 수 있다. As described above, the present invention provides information on the appearance time of each character during video playback so that the user can select the playback from the appearance time of the desired person, thereby satisfying the satisfaction by allowing the viewer to selectively watch only the appearance of the desired character. can

또한, 본 발명은 영상 재생 중에 등장인물의 정보를 제공할 수 있도록 하여 시청자가 외부의 시스템에서 등장인물의 정보를 검색하는 불편함을 해소할 수 있다. In addition, the present invention can provide information about a character during video playback, thereby solving the inconvenience of a viewer searching for information about a character in an external system.

또한, 본 발명은 영상 시청에 방해되지 않는 영역 내에 직관적이고 사용하기 쉬운 UI/UX 기반의 메뉴화면을 제공함으로써 시청자에게 기기 사용의 편리함과 만족감을 충족시킬 수 있다. In addition, the present invention can satisfy the viewer with the convenience and satisfaction of using the device by providing an intuitive and easy-to-use UI/UX-based menu screen within an area that does not interfere with video viewing.

도 1은 본 발명의 실시 예를 위한 영상 정보 획득 시스템의 블록 구성도.
도 2는 본 발명의 실시 예에서 트래킹 작업 및 영상 서비스 과정의 개략적인 신호 흐름도.
도 3은 도 2에서 출연 로그 데이터 포맷의 예시도.
도 4는 본 발명의 실시 예에서 트래킹 작업 과정의 흐름도.
도 5는 본 발명의 실시 예에서 타임그래프 표시 과정을 보인 흐름도.
도 6은 도 5에서 타임그래프 표시 형태의 예시도.
도 7은 본 발명의 실시 예에서 타임그래프 표시 화면의 예시도.
도 8은 본 발명의 실시 예에서 등장인물의 출연구간 탐색 방법의 예시도.
도 9는 본 발명의 실시 예에서 등장인물 정보 표시 과정의 흐름도.
도 10은 도 9에서 인물아이콘 클릭 시의 시청화면 예시도.
도 11은 도 10에서 특정인물 정보 표시화면의 예시도.
1 is a block diagram of an image information acquisition system for an embodiment of the present invention.
2 is a schematic signal flow diagram of a tracking operation and an image service process in an embodiment of the present invention;
3 is an exemplary diagram of the appearance log data format in FIG. 2 .
4 is a flowchart of a tracking operation process in an embodiment of the present invention;
5 is a flowchart illustrating a time graph display process in an embodiment of the present invention.
6 is an exemplary view of a time graph display form in FIG. 5 .
7 is an exemplary view of a time graph display screen in an embodiment of the present invention.
8 is an exemplary diagram of a method of searching for an appearance section of a character in an embodiment of the present invention.
9 is a flowchart of a character information display process in an embodiment of the present invention.
FIG. 10 is an exemplary view of a viewing screen when a person icon is clicked in FIG. 9 .
11 is an exemplary view of a specific person information display screen in FIG. 10 .

이하, 본 발명에 따른 실시 예를 도면을 참조하여 설명하기로 한다. Hereinafter, an embodiment according to the present invention will be described with reference to the drawings.

본 발명의 실시 예에 대해서 특정한 구조 또는 기능적 설명들은 본 발명에 따른 실시 예를 설명하기 위해 예시된 것으로, 별도로 정의하지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 이해하는 것과 동일한 의미로 파악되어야 할 것이다. 또한 본 발명의 실시 예를 설명하기 위한 도면에서 본 발명을 명확하게 설명하기 위해 명확한 설명과 관계없는 부분은 생략하였다. Specific structural or functional descriptions of the embodiments of the present invention are exemplified for explaining the embodiments according to the present invention, and unless otherwise defined, the same as those understood by those of ordinary skill in the art to which the present invention pertains. should be understood as meaning. In addition, in the drawings for explaining an embodiment of the present invention, parts not related to the clear description are omitted in order to clearly explain the present invention.

본 발명에서 영상을 인물, 동식물, 건축물, 기계장치 등의 다양한 이미지가 포함된 동영상이 포함되는데, 본 발명의 실시 예에서는 영화로 한정하여 인물 특히, 영화배우의 등장시점 및 정보를 제공하는 것에 대해 설명하기로 한다. In the present invention, the image includes a moving picture including various images such as people, animals and plants, buildings, machinery, etc., but in the embodiment of the present invention, it is limited to a movie to provide information on the appearance time and information of a person, especially a movie actor. to explain

본 발명을 구현함에 있어서, 인물 학습은 배우들의 얼굴 이미지를 수십에서 수백장 수집하여 배우 별로 분류한 후 AI 엔진에 얼굴 이미지를 학습하여야 하는데, 본 발명에서는 사전에 인물 학습이 되어 있다는 가정 하에서 설명하기로 한다. 이는 본 발명의 AI 서버에서 인물학습을 직접 진행할 수도 있고, 외부 시스템에서 학습한 인물정보를 다운로드하여 사용할 수 있다는 것을 의미한다. In implementing the present invention, character learning requires collecting tens to hundreds of face images of actors, classifying them by actors, and then learning the face images in the AI engine. In the present invention, it will be described on the assumption that character learning has been done in advance. do. This means that person learning can be performed directly in the AI server of the present invention, or person information learned from an external system can be downloaded and used.

본 발명을 설명함에 있어서, 본 발명의 달성하고자 하는 요지를 흐릴 수 있다고 판단되는 공지의 기능 또는 구성에 대해서는 그 상세한 설명을 생략하기로 한다. In describing the present invention, detailed descriptions of well-known functions or configurations determined to obscure the gist of the present invention will be omitted.

도 1은 본 발명의 실시 예를 위한 영상 정보 획득 시스템의 블록 구성도로서 이에 도시한 바와 같이, 서비스 서버(110), 데이터 저장부(120) 및 트래킹 정보 획득부(130)를 포함하여 구성한다. 1 is a block diagram of an image information acquisition system for an embodiment of the present invention, and as shown therein, it comprises a service server 110 , a data storage unit 120 , and a tracking information acquisition unit 130 . .

서비스 서버(110)는 트래킹 로그를 생성할 영상을 상기 데이터 저장부(120)에 업로드하고 그 영상에 대한 출연 로그 데이터가 상기 트래킹 정보 획득부(130)에서 생성되어 제공된 후 클라이언트에서의 요청에 따라 영상 스트리밍 서비스와 출연 로그 데이터를 제공한다. The service server 110 uploads an image for generating a tracking log to the data storage unit 120, and after appearance log data for the image is generated and provided by the tracking information obtaining unit 130, according to a request from a client It provides video streaming service and appearance log data.

상기 서비스 서버(110)는 영상을 데이터 저장부(120)에 저장한 후 트래킹 정보 획득부(130)에 트래킹 로그 생성을 요청한다. 이러한 서비스 서버(110)는 별도의 파일서버가 연결되어 복수의 영상과 그 영상들에 대한 출연 로그 데이터를 자체적으로 저장하도록 구성할 수 있다. The service server 110 stores the image in the data storage unit 120 and then requests the tracking information acquisition unit 130 to generate a tracking log. The service server 110 may be configured to independently store a plurality of images and appearance log data for the images by being connected to a separate file server.

상기 데이터 저장부(120)는 학습할 인물 이미지, 그 학습할 인물 이미지를 가공한 데이터셋, 상기 데이터셋을 딥러닝하여 생성한 학습모델, 영상파일, 및 그 영상파일을 분석하여 획득한 출연 로그 데이터를 저장한다. 이러한 데이터 저장부(120)는 스토리지(storage), DB서버 또는 파일서버를 적어도 하나 포함하여 구성한다. The data storage unit 120 includes an image of a person to be learned, a dataset obtained by processing the image of the person to be learned, a learning model generated by deep learning the dataset, an image file, and an appearance log obtained by analyzing the image file. Save the data. The data storage unit 120 includes at least one storage, a DB server, or a file server.

상기 트래킹 정보 획득부(130)는 상기 데이터 저장부(120)에서 다운로드한 영상을 프레임 단위로 분해하여 등장인물의 이미지를 추출한 후 각 프레임에 등장한 인물의 이미지를 데이터 저장부(120)에서 다운로드한 학습 모델과 비교하여 누구인지 판단하고 그 판단에 따라 영상의 재생구간별로 등장인물 데이터를 편집하여 출연 로그 데이터를 생성한다. The tracking information acquisition unit 130 decomposes the image downloaded from the data storage unit 120 into frames to extract the image of the character, and then downloads the image of the person who appears in each frame from the data storage unit 120 . It compares with the learning model to determine who it is, and according to the judgment, edits the character data for each playback section of the video to generate appearance log data.

이러한 트래킹 정보 획득부(130)는 데이터를 병렬 처리 가능하도록 복수의 AI 서버가 구비되며, 처리할 데이터 량에 따라 적어도 하나의 AI 서버가 선택될 수 있도록 구성한다. The tracking information acquisition unit 130 is provided with a plurality of AI servers to enable parallel processing of data, and is configured so that at least one AI server can be selected according to the amount of data to be processed.

또한 복수의 AI 서버는 학습 이미지, 학습모델파일을 공유하여 이미 학습된 인물에 대한 신규 이미지 또는 신규 인물에 대한 학습 이미지를 학습하는 것은 물론 업로드된 영상의 분석을 통해 출연 로그 데이터를 생성하도록 구성한다. In addition, a plurality of AI servers share learning images and learning model files to learn new images for already learned people or learning images for new people, as well as to generate appearance log data through analysis of uploaded images. .

이러한 복수의 AI 서버 각각은 학습할 이미지를 설계된 레이어(layer) 모델에 맞게 이미지를 가공하고 딥러닝 프레임워크에서 처리가능한 형태로 데이터셋을 생성하고, 딥러능 프레임워크를 이용하여 상기 데이터셋 학습을 수행하여 학습모델을 생성하는 인공지능 학습 데몬(131)과, 상기 데이터 저장부(120)에서 다운로드한 영상을 프레임 단위로 분해하여 등장인물의 이미지를 추출하고 그 추출된 이미지를 상기 데이터 저장부(120)에서 다운로드된 학습 모델과 비교하여 누구인지 판별하여 그 판별결과를 데이터화한 후 구간별로 편집하여 출연 로그 데이터를 생성하는 트래킹 로그 추출 데몬(132)을 포함하여 구성한다. Each of these multiple AI servers processes the image to be learned according to the designed layer model, creates a dataset in a form that can be processed by the deep learning framework, and uses the deep learning framework to learn the dataset. An artificial intelligence learning daemon 131 that generates a learning model by performing the decomposition of the image downloaded from the data storage unit 120 into frame units to extract an image of a character, and the extracted image is stored in the data storage unit ( 120) by comparing with the downloaded learning model, and composing to include a tracking log extraction daemon 132 that generates the appearance log data by editing the result of the determination into data and then editing by section.

상기의 서비스 서버(110), 데이터 저장부(120) 및 트래킹 정보 획득부(130)의 네트워크 구성은 유선 또는 무선 통신방식은 물론 내부통신망을 이용한 직접적 연결방식 또는 외부통신망을 이용한 원격 연결방식을 설계에 적합하게 선택할 수 있는데, 네트워크 구축에 필요한 적어도 하나의 통신방식을 선택하고 해당 통신방식에 적합한 API(Application Programming Interface)를 제공하도록 구성함으로써 학습할 데이터, 가공 데이터 또는 학습된 데이터의 공유가 가능하도록 하여 구성요소 상호 간의 접근성을 향상시킬 수 있도록 한다. The network configuration of the service server 110, the data storage unit 120, and the tracking information acquisition unit 130 is a wired or wireless communication method as well as a direct connection method using an internal communication network or a remote connection method using an external communication network. It is possible to select at least one communication method necessary for network construction and configure it to provide an API (Application Programming Interface) suitable for the communication method so that data to be learned, processed data, or learned data can be shared. to improve accessibility between components.

상기와 같이 구성한 본 발명의 실시 예에서 인물 트래킹 작업과 그에 따른 영상 서비스 과정을 도 2를 참조하여 간략하게 설명하면 다음과 같다. 여기서, 트래킹 작업이란 영상에서 등작하는 인물이 누구인지 AI 엔진에 질의 하여 데이터화하는 작업, 즉 영상 인물 매칭 작업을 의미한다. In the embodiment of the present invention configured as described above, a person tracking task and a corresponding image service process will be briefly described with reference to FIG. 2 as follows. Here, the tracking task refers to the task of querying the AI engine for who is the person who appears in the image and converting it into data, that is, the image person matching task.

먼저, 트래킹 정보 획득부(130)는 AI 서버를 구비하며, 인물의 이미지들을 선행 학습한다. First, the tracking information acquisition unit 130 has an AI server, and pre-learns images of people.

이후, 트래킹 정보 획득부(130)는 서비스 서버(110)에서 트래킹 로그 생성을 요청하면서 영상을 등록하면 그 등록된 영상에서 트래킹 작업을 통해 프레임 단위로 이미지를 추출하여 구간별로 등장 인물이 누구인지 판별하고 그 결과를 데이터화하여 출연 로그 데이터를 생성한다. After that, when the tracking information acquisition unit 130 registers an image while requesting generation of a tracking log from the service server 110, it extracts an image in units of frames through a tracking operation from the registered image to determine who the characters are by section and the results are converted into data to generate appearance log data.

상기 출연 로그 데이터 포맷을 자유롭게 지정할 수 있는데, 본 발명의 실시 예에서 상기 출연 로그 데이터는 인물식별 ID, 이름, 출연지점 시작시간, 출연지점 종료시간, 출연 로그수를 포함하며, 예를 들면 도 3에 도시한 바와 같이, json 포맷으로 작성할 수 있다. The appearance log data format can be freely specified. In an embodiment of the present invention, the appearance log data includes a person identification ID, name, appearance point start time, appearance point end time, and appearance log number, for example, FIG. As shown in , it can be written in json format.

이후, 트래킹 정보 획득부(130)는 업로드된 영상의 출연 로그 데이터를 데이터 저장부(120)에 다운로드하여 저장시키고 서비스 서버(110)로 트래킹 작업 완료를 전달한다. Thereafter, the tracking information acquisition unit 130 downloads and stores the appearance log data of the uploaded image in the data storage unit 120 , and transmits the completion of the tracking operation to the service server 110 .

이후, 서비스 서버(110)는 클라이언트(Client; 140)에서 영상 재생을 요청하면 해당 영상과 그 영상의 출연 로그 데이터를 상기 클라이언트(140)에 전송한다. Thereafter, the service server 110 transmits the corresponding image and appearance log data of the image to the client 140 when the client 140 requests image reproduction.

이에 따라, 클라이언트(140)는 영상을 재생하면서 등장인물별 출연 타임그래프 및 등장인물의 정보를 영상 시청에 방해되지 않는 영역에 표시하여 시청자가 원하는 등장인물의 출연시점부터 영상을 재생하는 것은 물론 그 등장인물의 정보를 실시간으로 확인할 수 있도록 한다. Accordingly, the client 140 displays the appearance time graph for each character and the information of each character in an area that does not interfere with video viewing while playing the image, thereby playing the image from the time of appearance of the character desired by the viewer, as well as playing the image. It allows you to check the information of the characters in real time.

상기와 같이 동작하는 본 발명의 실시 예에서 트래킹 작업, 출연 타임그래프 및 출연인물의 상세 정보 제공을 위한 동작을 도 4 내지 도 11을 참조하여 설명하면 다음과 같다. In an embodiment of the present invention that operates as described above, an operation for providing detailed information of a tracking task, an appearance time graph, and a cast member will be described with reference to FIGS. 4 to 11 .

도 4는 본 발명의 실시 예에서 영상 내의 등작인물의 출연 시점을 추출하기 위한 트래킹 작업 과정의 흐름도로서 이에 도시한 바와 같이, 트래킹 로그 생성이 요청되면 해당 영상을 다운로드하는 단계(S401)(S402)와, 상기 다운로드된 영상을 프레임단위로 분해하여 얼굴이미지를 추출하는 단계(S403)와, 상기 추출된 얼굴이미지를 학습모델과 비교하여 영상의 구간별 등장인물들을 식별하고 그 식별결과에 따라 등장인물별 트래킹 로그를 작성하는 단계(S406)와, 상기 작성된 트래킹 로그를 기반으로 영상의 출연 로그 데이터를 생성하는 단계(S407)를 포함하며, 이를 설명하면 다음과 같다. 4 is a flowchart of a tracking operation process for extracting the appearance time of a character in an image in an embodiment of the present invention. As shown in this figure, when a tracking log generation is requested, downloading the corresponding image (S401) (S402) And, decomposing the downloaded image into frame units to extract a face image (S403), and comparing the extracted face image with a learning model to identify characters for each section of the image, and according to the identification result, the characters are identified. It includes a step (S406) of creating a star tracking log and a step (S407) of generating an appearance log data of an image based on the created tracking log, which will be described as follows.

먼저, 서비스 서버(110)는 등록 영상의 출연 로그 데이터를 얻기 위해 트래킹 정보 획득부(130)로 트래킹 로그 생성을 요청하게 된다(S401). First, the service server 110 requests the tracking information acquisition unit 130 to generate a tracking log in order to obtain the appearance log data of the registered image (S401).

이때, 상기 트래킹 정보 획득부(130)는 컨텐츠 등록 API를 상기 서비스 서버(110)에 제공하여 출연 로그 데이터를 생성하고자 하는 영상의 정보를 전송받고, 그 영상의 정보는 데이터 저장부(120)에 저장되어 관리되게 된다. At this time, the tracking information acquisition unit 130 provides the content registration API to the service server 110 to receive the information of the image for which the appearance log data is to be generated, and the information of the image is stored in the data storage unit 120 . stored and managed.

상기 컨텐츠 등록 API의 형태를 예시하면 아래와 같으며, 이에 따라 서비스 서버(110)로부터 컨텐츠 ID, 컨텐츠 이름 등을 파라미터로 제공받게 된다. The form of the content registration API is exemplified as follows, and accordingly, content ID, content name, and the like are provided as parameters from the service server 110 .

http://api.co.kr:5401/tracking/insertContentshttp://api.co.kr:5401/tracking/insertContents

여기서, 컨텐츠 ID는 서비스 서버(110)에서 관리하는 컨텐츠 식별 번호이며, 본 발명의 실시 예에서 컨텐츠는 영상이다. Here, the content ID is a content identification number managed by the service server 110 , and in an embodiment of the present invention, the content is an image.

이후 트래킹 정보 획득부(130)는 복수의 AI 서버 중 트래킹 작업을 수행할 적어도 하나의 AI 서버를 결정하여 트래킹 로그 생성을 지시하게 되며, 선택된 AI 서버의 트래킹 로그 추출 데몬(132)은 트래킹 로그 생성 작업을 인식하여 서비스 서버(110)가 데이터 저장부(120)에 업로드한 영상을 다운로드하게 된다(S402). Afterwards, the tracking information acquisition unit 130 determines at least one AI server to perform a tracking operation among a plurality of AI servers and instructs the generation of a tracking log, and the tracking log extraction daemon 132 of the selected AI server generates a tracking log Recognizing the job, the service server 110 downloads the image uploaded to the data storage unit 120 (S402).

상기 영상 다운로드 과정(S402)을 상세히 설명하면, 트래킹 로그 추출 데몬(132)은 데이터 저장부(120)에서 다운로드할 영상의 컨텐츠 식별 번호를 확인하고 서비스 서버(110)로 영상 저장 위치를 요청하며, 이에 따라 서비스 서버(110)는 아래 형태의 파일 위치 취득 API를 제공하며, 이 API는 등록된 후 트래킹 로그 추출 데몬(132)에게 제공되며 리다이렉트(redirect)된다. To describe the image download process (S402) in detail, the tracking log extraction daemon 132 checks the content identification number of the image to be downloaded from the data storage unit 120 and requests the image storage location to the service server 110, Accordingly, the service server 110 provides the file location acquisition API of the form below, and this API is provided to the tracking log extraction daemon 132 after registration and is redirected.

http://URL/FileServerInfo?&contentID='contentID' http://URL/FileServerInfo?&contentID='contentID'

이때, 서비스 서버(110)는 상기 contentID를 통해 영상파일 위치와 포트정보를 아래의 형태로 제공하게 된다. At this time, the service server 110 provides the image file location and port information in the form below through the contentID.

Result: {"server_ip":"111.96.29.47","server_port":8504} Result: {"server_ip":"111.96.29.47","server_port":8504}

이후, 트래킹 로그 추출 데몬(132)는 제공받은 파일 위치 정보를 이용하여 영상파일이 저장된 서버, 본 발명의 실시 예에서는 데이터 저장부(120)에 접속하여 해당 영상파일을 다운로드하게 되는데, 이때, 서비스 서버(110)는 아래 형태의 컨텐츠 다운로드 API를 제공하고, 이 API는 등록된 후 트래킹 로그 추출 데몬(132)에게 제공되며 리다이렉트(redirect)된다. Thereafter, the tracking log extraction daemon 132 uses the provided file location information to access the server where the image file is stored, and in an embodiment of the present invention, the data storage unit 120 to download the corresponding image file. The server 110 provides the following content download API, and this API is provided to the tracking log extraction daemon 132 after registration and is redirected.

http://IP:Port/FileDown?contentID='contentID' http://IP:Port/FileDown?contentID='contentID'

상기 과정(S401)(S402)으로 트래킹 로그를 생성할 영상파일을 다운로드하면 트래킹 로그 추출 데몬(132)은 영상 파일에서 1초 당 한 컷의 프레임들을 추출하고 프레임 추출 시간을 파일이름으로 하여 프레임 이미지로 저장한다.When the image file for generating the tracking log is downloaded through the above steps (S401) and (S402), the tracking log extraction daemon 132 extracts one frame per second from the image file, and sets the frame extraction time as the file name to create a frame image. save as

이때, 트래킹 로그 추출 데몬(132)는 추출된 프레임 이미지에서 얼굴 이미지를 추출한다(S403). At this time, the tracking log extraction daemon 132 extracts a face image from the extracted frame image (S403).

이후, 트래킹 로그 추출 데몬(132)는 상기에서 추출한 얼굴 이미지를 인물들의 얼굴을 딥러닝하여 획득한 학습모델과 비교하고 그 비교결과에 따라 등장인물을 판별하는 과정을 영상 전체에 대해 반복적으로 수행하며, 그 판별된 등장인물에 대해 인물식별 정보와 프레임번호를 이용하여 등장인물별 등장시간을 구하고 이를 트래킹 로그파일에 기록한다(S404~S406). 상기 트래킹 로그파일은 등장인물의 식별ID, 이름, 등장시간, 출연로그 수 등을 기록한 메타정보 로그파일로서, 등장인물의 썸네일 정보 및 상세정보를 더 포함할 수 있다. After that, the tracking log extraction daemon 132 compares the face image extracted above with a learning model obtained by deep learning the faces of people, and repeatedly performs the process of determining the character according to the comparison result for the entire image, , obtain the appearance time for each character using the person identification information and the frame number for the determined character, and record this in the tracking log file (S404 ~ S406). The tracking log file is a meta information log file in which the identification ID, name, appearance time, appearance log number, etc. of the character are recorded, and may further include thumbnail information and detailed information of the character.

이에 따라, 트래킹 로그 추출 데몬(132)는 상기의 과정을 수행하여 도 3과 같은 출연 로그 데이터를 생성하고 이를 데이터 저장부(120)에 저장함과 동시에 서비스 서버(110)로 트래킹 로그 생성이 완료되었음을 통보하게 된다(S407). Accordingly, the tracking log extraction daemon 132 performs the above process to generate the appearance log data as shown in FIG. 3 , and stores it in the data storage unit 120 while simultaneously generating the tracking log to the service server 110 is completed. A notification is made (S407).

따라서, 상기 서비스 서버(110)는 클라이언트로부터 영상 재생이 요청되면 해당 영상과 그 영상의 출연 로그 데이터를 전송하여 클라이언트가 영상을 시청하면서 원하는 등장인물의 출연 지점부터 재생시키거나 현재 재생구간에 등장하는 인물의 상세정보를 확인할 수 있도록 한다. Accordingly, the service server 110 transmits the corresponding image and appearance log data of the image when the image reproduction is requested from the client, and plays the image from the appearance point of the desired character while the client watches the image or appears in the current playback section. It allows you to check the details of the person.

한편, 본 발영의 실시 예에서 시청 중인 영상의 재생위치 변경을 위한 타임그래프 표시 과정은 도 5의 흐름도에 도시한 바와 같이, 클라이언트의 요청에 따라 해당 영상을 재생하는 단계(S501)와, 영상을 스트리밍 서비스하면서 시청화면 하단에 표시된 타임그래프 아이콘이 클릭되는지 확인하는 단계(S502)와, 상기 타임그래프 아이콘이 클릭되면 시청화면에 현재 재생구간의 등장인물에 대한 인물 타임그래프를 표시(S503)하고, 특정인물의 타임그래프 상의 임의의 지점이 클릭되는지 확인하는 단계(S504)와, 특정인물이 등장하는 부분부터 시청하기 위해 상기 타임그래프 상의 임의의 지점이 클릭되면 해당 클릭된 지점으로 재생위치를 이동하여 해당 인물이 등장하는 영상을 재생하는 단계(S505)와, 상기에서 타임그래프의 클릭이 없는 상태에서 일정시간이 경과되는지 확인하는 단계(S506)와, 상기에서 재생지점을 이동하여 영상을 재생하거나 타임그래프의 클릭없이 일정시간이 경과되면 시청화면에 표시된 타임그래프를 오프시키는 단계(S507)를 포함하며, 이를 설명하면 다음과 같다. On the other hand, in the embodiment of the present disclosure, the time graph display process for changing the playback position of the video being viewed includes the steps of reproducing the video according to the request of the client (S501), as shown in the flowchart of FIG. Checking whether the time graph icon displayed at the bottom of the viewing screen is clicked while streaming service (S502), and when the time graph icon is clicked, the person time graph for the character in the current playback section is displayed on the viewing screen (S503), Step (S504) of confirming whether a certain point on the time graph of a specific person is clicked, and if an arbitrary point on the time graph is clicked to view from the part where the specific person appears, the playback position is moved to the clicked point Playing an image in which the person appears (S505), checking whether a predetermined time has elapsed without clicking on the time graph in the above (S506), and moving the playback point to play the image or time When a certain period of time has elapsed without clicking the graph, a step (S507) of turning off the time graph displayed on the viewing screen is included, which will be described as follows.

우선, 서비스 서버(110)는 클라이언트의 재생 요청이 있으면 해당 영상을 스트리밍 서비스하면서 그 영상의 출연 로그 데이터를 제공하게 된다(S501). First, the service server 110 provides the appearance log data of the video while streaming the corresponding video when there is a client's request for reproduction (S501).

이때, 시청 화면 하단의 영상 표시 영역 외곽에는 타임그래프 아이콘과 등장인물 아이콘이 표시되게 된다. At this time, a time graph icon and a character icon are displayed outside the image display area at the bottom of the viewing screen.

따라서, 영상 시청 중에 클라이언트가 리모콘 등의 원격기기로 타임그래프 아이콘을 클릭하면 시청화면 하단에 현재 재생구간의 등장인물별 타임그래프가 표시된다(S502)(S503). 상기에서 타임그래프를 현재 재생구간의 등장인물들에 대해 표시하는 것을 설명하였으나, 영상에 등장하는 모든 인물의 타임그래프를 표시하도록 구현할 수도 있다. Therefore, when the client clicks the time graph icon with a remote device such as a remote control while viewing the video, the time graph for each character in the current playback section is displayed at the bottom of the viewing screen (S502) (S503). Although it has been described above that the time graph is displayed for the characters in the current playback section, it may be implemented to display the time graph of all the people appearing in the image.

이때, 서비스 서버(110)에서 스트리밍 서비스되는 영상의 등장인물의 출연 구간 정보는 도 3의 출연 로그 파일에 도시한 바와 같이, 출연 시작지점과 출연 종료 지점이 시간 단위, 본 발명의 실시 예에서는 '초'단위로 표현되어 있다. At this time, as shown in the appearance log file of FIG. 3, the appearance section information of the character of the video streaming service from the service server 110 is a time unit, and the appearance start point and appearance end point are time units, in the embodiment of the present invention, ' It is expressed in 'seconds'.

그런데, 출연지점을 나타내는 시간 단위를 사용자 화면에 알맞게 표현하기 위해서는 영상의 전체 재생 시간에서 등장인물의 출연 지점(출연시작/종료 지점)이 어느 위치인지 표현해 주는 것이 사용자가 보기에 직관적이고 이해하기 쉽다. However, in order to properly express the time unit indicating the appearance point on the user's screen, it is intuitive and easy to understand for the user to express where the appearance point (appearance start/end point) of the character is in the entire playback time of the video. .

따라서, 본 발명의 실시 예에서는 시청 화면 상에 인물 출연 타임그래프를 UI/UX적으로 표현해 주기 위해서 시간 단위를 % 단위로 환산하여 등장인물의 출연 지점을 도 6에 예시한 바와 같이, 출연지점 블록으로 표현을 해준다. Therefore, in an embodiment of the present invention, in order to express the time graph of the person appearing on the viewing screen in UI/UX, the time unit is converted into a % unit to show the appearance point of the character as illustrated in FIG. 6 , the appearance point block expresses it as

즉, 출연 로그 데이터에서 등장인물의 출연시작 시간과 출연종료 시간을 영상의 총 재생시간에 대한 비율(%)로 계산하는데, 이는 영상 재생 화면의 타임그래프 레이어의 총 넓이에서 출연 시작시간과 종료시간의 비율(%) 값에 맞는 해당 지점을 찾아 출연 구간을 블록 형태로 표현해 주는 것이다. That is, in the appearance log data, the appearance start time and appearance end time of a character are calculated as a percentage (%) of the total playback time of the video, which is the appearance start time and end time in the total area of the time graph layer of the video playback screen. It is to find the corresponding point that matches the ratio (%) value of and to express the appearance section in the form of a block.

도 7은 본 발명의 실시 예에서 상기 방식으로 시청화면에 표시하는 인물별 타임그래프 표시 화면의 예시도이다. 상기 인물별 타임그래프는 기본적으로 영상 시청에 방해가 되지 않도록 숨겨진 형태로 되어 있고, 영상 시청 중에 하단 컨트롤단에 표시된 타임그래프 아이콘 클릭 시에 인물 출연 타임그래프가 화면에 표시되어 클라이언트에게 노출된다. 7 is an exemplary diagram of a time graph display screen for each person displayed on the viewing screen in the above manner in an embodiment of the present invention. The time graph for each person is basically in a hidden form so as not to interfere with video viewing, and when the time graph icon displayed on the lower control panel is clicked while watching the video, the person appearance time graph is displayed on the screen and exposed to the client.

이에 따라, 클라이언트가 화면에 표시된 타임그래프의 출연지점 블록에 마우스를 위치시키면 해당 지점의 등장인물 썸네일이 표시되고 출연지점 블록을 클릭하면 해당 출연지점으로 이동하여 영상을 재생시키고(S504)(S505), 상기에서 화면에 표시하였던 인물별 타임그래프 표시를 오프시켜 화면에서 숨기게 된다(S507). Accordingly, when the client places the mouse on the appearing point block of the time graph displayed on the screen, a thumbnail of the character at the corresponding point is displayed, and when the client clicks the appearing point block, it moves to the corresponding appearing point and plays the video (S504) (S505) , is hidden from the screen by turning off the time graph display for each person displayed on the screen above (S507).

한편, 상기에서 인물별 타임그래프가 표시되었을 때 타임그래프의 인물 출연지점에 클릭이 없는 상태에서 일정시간이 경과되면 상기에서 표시하였던 인물별 타임그래프 표시를 오프시켜 화면에서 숨기게 된다(S506)(S507). On the other hand, when the time graph for each person is displayed in the above, when a certain period of time has elapsed in a state where there is no click at the person appearing point of the time graph, the time graph display for each person displayed above is turned off and hidden from the screen (S506) ( S507).

한편, 상기에서 특정인물의 타임그래프의 임의의 블록이 클릭되어 재생위치를 변경하는 경우(S505) 또는 영상 스트리밍으로 인해 재생구간이 변경되는 경우 이전에 탐색되었던 출연구간 데이터를 삭제하고 새로운 출연구간을 탐색하는 동작을 반복적으로 수행하는데, 이를 설명하면 다음과 같다. On the other hand, when an arbitrary block in the time graph of a specific person is clicked in the above to change the playback position (S505) or when the playback section is changed due to video streaming, the previously searched appearance section data is deleted and a new appearance section is created. The search operation is repeatedly performed, which will be described as follows.

일반적으로 영상을 시청할 때 시청자의 특별한 액션이 없는 한 영상은 한 방향으로 재생된다. 따라서, 이미 재생된 구간의 정보는 시청자의 특별한 액션이 없는 한 재사용이 없기 때문에 출연구간 탐색에서 제외해 주는 것이 좋다. In general, when watching a video, the video is played in one direction unless there is a special action by the viewer. Therefore, since there is no reuse of information on the previously played section unless there is a special action by the viewer, it is better to exclude it from the search for the appearing section.

본 발명의 실시 예에서 서비스 서버(110)는 출연 로그 데이터를 로그 탐색용 변수에 복사하고 이 로그 데이터를 이용하여 등장인물의 출연구간 탐색에 사용하는데, 출연구간 탐색을 1초 마다 실시하면서 현재 재생되는 출연구간이 아닌 이전 출연구간의 출연 로그 데이터는 삭제하여 다음번 탐색에서 제외함으로써 실시간 출연구간 탐색에서 불필요한 탐색을 최소화하여 탐색 성능(performance)를 향상시킨다. In an embodiment of the present invention, the service server 110 copies the appearance log data to a log search variable, and uses this log data to search for the appearance section of the character. By deleting the appearance log data of the previous appearance section, which is not the appearing section, and excluding it from the next search, unnecessary search is minimized in the real-time appearance section search to improve search performance.

즉, 시청자가 건너뛰기 또는 뒤로가기 등의 특정 액션을 활성화시켜 재생 위치가 변경될 때마다 다시 원본의 출연 로그 데이터를 로그 탐색용 변수에 복사하고 시청자가 이동시킨 지점부터 영상을 재생하면서 상기와 같은 출연구간 탐색 과정을 반복하게 된다. That is, whenever the playback location is changed by activating a specific action such as skip or back by the viewer, the original appearance log data is copied back to the log search variable, and the video is played from the point the viewer moved while playing the video as described above. It repeats the search process for the appearance section.

상기 과정을 도 8을 참조하여 설명하면, 현재 영상 재생지점이 37초라면 서비스 서버(110)는 해당 재생지점에 등장하는 출연 인물을 탐색할 때 현재 37초의 재생지점이 존재하는 출연 시작시간과 출연 종료시간 사이의 출연구간에 해당되는 출연 로그 데이터를 읽어 그 출연 로그 데이터에 있는 등장인물을 파악하게 된다. When the above process is described with reference to FIG. 8, if the current video playback point is 37 seconds, when the service server 110 searches for a person appearing at the corresponding playback point, the appearance start time and appearance at the current playback point of 37 seconds are present. By reading the appearance log data corresponding to the appearance section between the end times, the character in the appearance log data is identified.

이때, 출연구간의 탐색 조건은 현재 재생지점이 출연 시작시간과 출연 종료시간 사이에 해당되는 로그 데이터를 찾는 것으로, 출연구간 탐색을 할 때마다 출연구간 로그 데이터의 처음부터 끝까지 탐색하는 것은 비효율적이기 때문에 로그 데이터의 출연 종료시간이 현재 재생지점을 지난 데이터라면 탐색 대상에서 제외하고 아울러 출연 시작시간이 현재 재생지점 시간 보다 이후의 데이터라면 탐색을 종료함으로써 로그 탐색 과정을 최소화하게 된다. At this time, the search condition of the appearance section is to find the log data corresponding to the current playback point between the appearance start time and the appearance end time, and it is inefficient to search from the beginning to the end of the appearance section log data every time the appearance section is searched. If the appearance end time of the log data is data past the current playback point, it is excluded from the search target, and if the appearance start time is later than the current playback point time, the search is terminated, thereby minimizing the log search process.

즉, 본 발명의 실시 예에서 등장인물별로 출연 로그 데이터가 시간순으로 정렬되어 있음으로 현재 재생구간의 로그 데이터가 아닌 이전 및 이후 출연구간의 로그 데이터는 모두 탐색 대상에서 제외하게 된다. That is, in the embodiment of the present invention, since the appearance log data for each character is arranged in chronological order, log data of the previous and subsequent appearance sections, not the log data of the current playback section, are excluded from the search target.

따라서, 서비스 서버(110)는 영상 스트리밍 서비스를 제공하면서 현재 재생구간의 등장인물 정보만을 탐색하여 시청자가 타임그래프 아이콘을 클릭하면 해당 출연구간의 등장인물들의 타임그래프를 제공하여 시청자 화면에 표시되도록 함으로써 시청자의 액션에 즉시 해당 정보를 제공할 수 있는 것이다. Accordingly, the service server 110 provides a time graph of the characters in the corresponding appearance section when the viewer clicks the time graph icon by searching only the character information of the current playback section while providing the video streaming service to be displayed on the viewer screen. That information can be provided immediately to the action of the viewer.

또한, 본 발명의 실시 예에서는 영상을 스트리밍 서비스하고 있을 때 실시간으로 현재 재생구간의 등장인물에 대한 정보를 제공할 수 있다. In addition, according to an embodiment of the present invention, information about a character in the current playback section may be provided in real time while a video streaming service is being provided.

도 9는 본 발명의 실시 예에서 등장인물 정보 표시 과정의 흐름도로서 이에 도시한 바와 같이, 클라이언트의 요청에 따라 영상 스트리밍 서비스를 제공하면서 등장인물 아이콘이 클릭되는지 확인하는 단계(S901)(S902)와, 상기 등장인물 아이콘이 클릭되면 시청화면의 일측에 현재 재생구간의 등장인물들의 썸네일을 표시하고 특정인물의 썸네일이 클릭되는지 확인하는 단계(S903)(S904)와, 일정시간이 경과되어도 상기 등장인물들의 썸네일이 클릭되지 않으면 상기 등장인물들의 썸네일 표시를 오프시키는 단계(S905)(S906)와, 상기 특정인물의 썸네일이 클릭되면 해당 인물의 정보를 표시하는 단계(S907)와, 상기 특정인물의 썸네일 표시가 일정시간 경과되거나 상기 등장인물들의 재생구간이 종료되면 특정인물의 상세정보 표시 및 등장인물 썸네일 표시를 오프시키는 단계(S908~S910)을 포함하며, 이를 설명하면 다음과 같다. 9 is a flowchart of a character information display process in an embodiment of the present invention, and as shown therein, checking whether a character icon is clicked while providing a video streaming service according to a request of a client (S901) (S902) and , when the character icon is clicked, displaying thumbnails of the characters in the current playback section on one side of the viewing screen and confirming whether the thumbnails of the specific person are clicked (S903) (S904), and the characters even after a certain period of time has elapsed Steps (S905) (S906) of turning off the thumbnail display of the characters if their thumbnails are not clicked, and the steps of displaying information of the specific person when the thumbnail of the specific person is clicked (S907), and the thumbnails of the specific person When the display is displayed for a certain time or the playback section of the characters ends, the step of turning off the detailed information display of the specific character and the character thumbnail display (S908 ~ S910), which will be described as follows.

우선, 서비스 서버(110)는 클라이언트의 재생 요청이 있으면 해당 영상을 스트리밍 서비스하면서 그 영상의 출연 로그 데이터를 제공하게 된다(S901). First, the service server 110 provides the appearance log data of the video while streaming the corresponding video when there is a client's request for playback (S901).

이때, 시청 화면 하단의 영상 표시 영역 외곽에 위치하는 콘트롤 영역에는 타임그래프 아이콘과 등장인물 아이콘이 표시되게 된다. At this time, the time graph icon and the character icon are displayed in the control area located outside the image display area at the bottom of the viewing screen.

따라서, 영상 시청 중에 클라이언트가 리모콘 등의 원격기기로 등장인물 아이콘을 클릭하면 시청화면 일측에 현재 재생구간의 등장인물별 썸네일이 실시간 표시된다(S502)(S503). Accordingly, when the client clicks the character icon with a remote device such as a remote control while viewing the video, a thumbnail for each character of the current playback section is displayed on one side of the viewing screen in real time (S502) (S503).

본 발명에서는 영상 스트리밍 서비스 중에 1초마다 출연 로그 데이터를 검색하여 현재 재생구간에 등장하는 인물이 누구인지 판별하고 그 판별된 등장인물의 썸네일을 도 10에 도시한 바와 같이 시청화면의 우측에 표시해 주는데, 이는 현재 재생구간의 등장인물이 3명임을 알려 주는 것이다. In the present invention, in the video streaming service, appearance log data is searched every second to determine who appears in the current playback section, and a thumbnail of the determined character is displayed on the right side of the viewing screen as shown in FIG. , indicating that there are 3 characters in the current playback section.

이에 따라, 시청자가 화면에 표시된 썸네일 중 임의의 인물의 썸네일을 클릭하면 해당 인물의 상세정보(profile)가 도 11에 도시한 바와 같이, 화면의 일측에 표시되며, 시청화면 하단에는 프로그레스 바(progress bar)가 표시됨과 아울러 그 상세정보가 표시된 등장인물의 출연지점이 표시된다(S904)(S907). Accordingly, when the viewer clicks the thumbnail of any person among the thumbnails displayed on the screen, the detailed information (profile) of the person is displayed on one side of the screen as shown in FIG. 11, and a progress bar ( progress bar) is displayed, and the appearance point of the character whose detailed information is displayed is displayed (S904) (S907).

상기 도 11은 타임그래프 아이콘와 등장인물 아이콘이 클릭되어 타임그래프와 현재 재생구간의 등장인물의 썸네일이 표시된 상태에서 임의의 등장인물 썸네일이 클릭되어 그 인물의 상세정보가 표시된 화면을 예시한 것이다. 상기 등장인물의 썸네일에는 해당 인물의 상세정보에 대한 위치정보가 포함될 수 있다. 11 exemplifies a screen on which a thumbnail of an arbitrary character is clicked and detailed information of the person is displayed in a state in which the time graph icon and the character icon are clicked to display the time graph and the thumbnail of the character in the current playback section. The thumbnail of the person may include location information on detailed information of the person.

상기에서 타임그래프 아이콘이 클릭되지 않았다면 상기 도 11의 화면에는 타임그래프가 표시되지 않는다. If the time graph icon is not clicked above, the time graph is not displayed on the screen of FIG. 11 .

이때, 영상이 재생되면서 다음 재생구간으로 이동되면 이전 재생구간의 등장인물이 현재 재생구간에 등장하지 않을 수 있는데, 상기 단계(S907)에서 특정인물의 상세정보를 표시한 후 특정인물의 출연구간이 종료되는지 판단하게 된다(S908). At this time, if the video is played and moved to the next playback section, the character of the previous playback section may not appear in the current playback section. In step S907, after displaying the detailed information of the specific person, the appearance section of the specific person is displayed. It is determined whether or not it ends (S908).

이에 따라, 상기에서 상세정보가 표시된 인물이 현재 재생구간에도 등장하며 그 특정인물의 상세정보의 표시 오프가 선택되지 않거나 그 상세정보가 표시된 후 일정시간이 경과되지 않았다면 상기 등장인물의 상세정보를 표시하는 상태를 유지하게 된다(S908)(S909)(S907). Accordingly, if the person whose detailed information is displayed above appears also in the current playback section and the display of detailed information of the specific person is not selected or a certain period of time has not elapsed after the detailed information is displayed, the detailed information of the person is displayed. to maintain the state of (S908) (S909) (S907).

그리고, 상기에서 상세정보가 표시된 인물이 현재 재생구간에도 등장하지만 그 특정인물의 상세정보가 클릭되거나 상세정보가 표시된 후 일정시간이 경과되어 인물정보 표시의 오프로 판단되면 상기 특정인물의 상세정보 표시를 오프시키게 된다(S908~S910). In addition, if the person whose detailed information is displayed above appears in the current playback section, but the detailed information of the specific person is clicked or a predetermined time elapses after the detailed information is displayed, the person information display is determined to be off, the detailed information of the specific person is turned off (S908 ~ S910).

또한, 상기 단계(S907)에서 상세정보가 표시된 인물이 현재 재생구간에 등장하지 않으면 그 특정인물의 출연구간이 종료된 것으로 판단하여 특정인물의 상세 정보 표시를 오프시키게 된다(S908)(S910). In addition, if the person whose detailed information is displayed does not appear in the current playback section in the step S907, it is determined that the appearance section of the specific person is over, and the detailed information display of the specific person is turned off (S908) (S910).

한편, 상기에서 등장인물 썸네일이 표시된 후 일정시간이 경과되어도 특정인물 썸네일 클릭이 없으면 화면의 일측에 표시되었던 등장인물 썸네일 표시를 오프시켜 화면에서 숨기게 된다(S905)(S906). On the other hand, if there is no click of a specific person thumbnail even after a certain period of time has elapsed after the character thumbnail is displayed, the character thumbnail displayed on one side of the screen is turned off to hide it from the screen (S905) (S906).

또한, 상기에서 등장인물 썸네일이 표시되거나 특정인물의 상세정보가 표시된 상태에서 등장인물 아이콘이 클릭되는 경우에도 상기 썸네일 또는 상세정보의 표시를 오프시킬 수 있다. In addition, even when a character icon is clicked while the character thumbnail is displayed or detailed information of a specific person is displayed, the display of the thumbnail or detailed information may be turned off.

이상에서 본 발명의 실시예에 대하여 도면을 참조하여 설명하였으나, 이는 예시적인 것으로 본 발명이 이에 한정되는 것이 아니고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 개량이 가능하다는 것을 이해하여야 할 것이다. Although the embodiment of the present invention has been described with reference to the drawings, this is illustrative and the present invention is not limited thereto, and various modifications and improvements can be made therefrom by those skilled in the art to which the present invention pertains. It should be understood that it is possible.

110 : 서비스 서버 120 : 데이터 저장부
130 : 트래킹 정보 획득부 131 : 인공지능 학습 데몬
132 : 트래킹 로그 추출 데몬
110: service server 120: data storage unit
130: tracking information acquisition unit 131: artificial intelligence learning daemon
132: Tracking log extraction daemon

Claims (19)

영상 스트리밍 서비스를 제공하면서 시청화면의 콘트롤 영역에 인물타임그래프 및 등장인물 아이콘을 표시하는 단계;
상기 인물타임 그래프가 클릭되면 현재 재생구간의 등장인물별 타임그래프를 시청화면에 표시하는 단계;
상기 타임그래프 중 임의의 인물 타임그래프 상의 임의의 지점이 클릭되면 해당 위치로 이동하여 재생하는 단계;
상기 등장인물 아이콘이 클릭되면 현재 재생구간의 등장인물별 썸네일을 시청화면에 표시하는 단계; 및
상기 등장인물별 썸네일 중 임의의 인물 썸네일이 클릭되면 해당 인물의 상세정보를 시청화면에 표시하는 단계를 포함하는 영상정보 표시 방법.
Displaying a person time graph and a character icon in a control area of the viewing screen while providing a video streaming service;
displaying a time graph for each character of the current playback section on the viewing screen when the person time graph is clicked;
When a certain point on the time graph of any person in the time graph is clicked, moving to the corresponding location and playing the same;
displaying thumbnails for each character of the current playback section on a viewing screen when the character icon is clicked; and
and displaying detailed information of the person on a viewing screen when a thumbnail of any person among the thumbnails for each person is clicked.
제1항에 있어서,
영상 스트리밍을 서비스하면서 일정시간마다 재생구간별로 등장인물을 탐색하는 단계;
상기 재생구간 탐색으로 재생구간이 변경되어 이전 재생구간의 등장인물이 현재 재생구간에 등장하지 않으면 해당 인물의 타임그래프 정보를 삭제하는 단계;를 더 포함하는 영상정보 표시 방법.
According to claim 1,
Searching for a character for each play section every predetermined time while providing a video streaming service;
and deleting the time graph information of the person if the character of the previous playback section does not appear in the current playback section because the playback section is changed through the search for the playback section.
제2항에 있어서, 상기 타임그래프는
등장인물의 구간별 출연시간(시작시간, 종료시간)을 비율(%)로 환산하여 블록형태로 표현되는 영상정보 표시 방법.
The method of claim 2, wherein the time graph is
A method of displaying image information that is expressed in block form by converting the appearance time (start time, end time) for each section of a character into a percentage (%)
제1항에 있어서,
임의의 인물 썸네일 클릭으로 해당 인물의 상세정보를 표시하면서 시청화면 하단에 프로그레스 바(progress bar)를 표시하여 해당 인물의 출연위치를 표시하는 단계를 더 포함하는 영상정보 표시 방법.
According to claim 1,
Image information display method further comprising the step of displaying the appearance position of the person by displaying a progress bar (progress bar) at the bottom of the viewing screen while displaying detailed information of the person by clicking on a thumbnail of any person.
제1항에 있어서,
영상 스트리밍을 서비스하면서 일정시간마다 재생구간별로 등장인물을 탐색하는 단계;
상기 재생구간 탐색으로 재생구간이 변경되어 이전 재생구간의 등장인물이 현재 재생구간에 등장하지 않으면 해당 인물의 썸네일 정보를 삭제하는 단계를 더 포함하는 영상정보 표시 방법.
According to claim 1,
Searching for a character for each play section every predetermined time while providing a video streaming service;
and deleting thumbnail information of the person if the character of the previous playback section does not appear in the current playback section because the playback section is changed through the search for the playback section.
제5항에 있어서, 등장인물의 썸네일은
해당 인물의 상세정보에 대한 위치정보를 포함하는 영상정보 표시 방법.
The method of claim 5, wherein the thumbnail of the character is
A method of displaying image information including location information on the detailed information of the person.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020200042102A 2020-04-07 2020-04-07 System And Method For Obtaining Image Information, And Method For Displaying Image Acquisition Information KR102261221B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200042102A KR102261221B1 (en) 2020-04-07 2020-04-07 System And Method For Obtaining Image Information, And Method For Displaying Image Acquisition Information
KR1020210038597A KR20210124906A (en) 2020-04-07 2021-03-25 System And Method For Obtaining Image Information, And Method For Displaying Image Acquisition Information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200042102A KR102261221B1 (en) 2020-04-07 2020-04-07 System And Method For Obtaining Image Information, And Method For Displaying Image Acquisition Information

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210038597A Division KR20210124906A (en) 2020-04-07 2021-03-25 System And Method For Obtaining Image Information, And Method For Displaying Image Acquisition Information

Publications (1)

Publication Number Publication Date
KR102261221B1 true KR102261221B1 (en) 2021-06-07

Family

ID=76374015

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200042102A KR102261221B1 (en) 2020-04-07 2020-04-07 System And Method For Obtaining Image Information, And Method For Displaying Image Acquisition Information
KR1020210038597A KR20210124906A (en) 2020-04-07 2021-03-25 System And Method For Obtaining Image Information, And Method For Displaying Image Acquisition Information

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210038597A KR20210124906A (en) 2020-04-07 2021-03-25 System And Method For Obtaining Image Information, And Method For Displaying Image Acquisition Information

Country Status (1)

Country Link
KR (2) KR102261221B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102404925B1 (en) * 2021-12-14 2022-06-02 한예주 Ai multi-focusing for online education participation confirmation of learner and method performing thereof
CN116248963A (en) * 2023-02-23 2023-06-09 北京奇艺世纪科技有限公司 Video playing method and device, electronic equipment and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013171373A (en) * 2012-02-20 2013-09-02 Sony Corp Information processor, system and information processing method
KR20160102679A (en) * 2015-02-23 2016-08-31 주식회사 엘지유플러스 Movie managing server, movie playing apparatus, and method for providing charater information using thereof
KR20180079894A (en) * 2017-01-03 2018-07-11 한국전자통신연구원 System and method for providing face recognition information and server using the method
KR20190106863A (en) * 2019-08-27 2019-09-18 엘지전자 주식회사 Equipment utilizing human recognition and method for utilizing the same
KR102027878B1 (en) 2018-01-25 2019-10-02 상명대학교산학협력단 Method for recognizing art objects in video combining deep learning technology and image feature extraction technology

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013171373A (en) * 2012-02-20 2013-09-02 Sony Corp Information processor, system and information processing method
KR20160102679A (en) * 2015-02-23 2016-08-31 주식회사 엘지유플러스 Movie managing server, movie playing apparatus, and method for providing charater information using thereof
KR20180079894A (en) * 2017-01-03 2018-07-11 한국전자통신연구원 System and method for providing face recognition information and server using the method
KR102027878B1 (en) 2018-01-25 2019-10-02 상명대학교산학협력단 Method for recognizing art objects in video combining deep learning technology and image feature extraction technology
KR20190106863A (en) * 2019-08-27 2019-09-18 엘지전자 주식회사 Equipment utilizing human recognition and method for utilizing the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102404925B1 (en) * 2021-12-14 2022-06-02 한예주 Ai multi-focusing for online education participation confirmation of learner and method performing thereof
CN116248963A (en) * 2023-02-23 2023-06-09 北京奇艺世纪科技有限公司 Video playing method and device, electronic equipment and storage medium

Also Published As

Publication number Publication date
KR20210124906A (en) 2021-10-15

Similar Documents

Publication Publication Date Title
US20210382929A1 (en) Multimedia content tags
US10714145B2 (en) Systems and methods to associate multimedia tags with user comments and generate user modifiable snippets around a tag time for efficient storage and sharing of tagged items
CN103686344B (en) Strengthen video system and method
US10090019B2 (en) Method, system and computer program product for editing movies in distributed scalable media environment
US9235576B2 (en) Methods and systems for selection of multimedia presentations
CN101300567B (en) Method for media sharing and authoring on the web
CN101150699B (en) Information processing apparatus, information processing method
US20190075181A1 (en) Slice-and-stitch approach to editing media (video or audio) for multimedia online presentations
US10334300B2 (en) Systems and methods to present content
US20140082079A1 (en) System and method for the collaborative recording, uploading and sharing of multimedia content over a computer network
CN109905782A (en) A kind of control method and device
JP2006155384A (en) Video comment input/display method and device, program, and storage medium with program stored
CN101390032A (en) System and methods for storing, editing, and sharing digital video
KR20160098949A (en) Apparatus and method for generating a video, and computer program for executing the method
US20190199763A1 (en) Systems and methods for previewing content
KR102261221B1 (en) System And Method For Obtaining Image Information, And Method For Displaying Image Acquisition Information
JP2007129531A (en) Program presentation system
JPWO2008136466A1 (en) Movie editing device
WO2017008498A1 (en) Method and device for searching program
WO2008087742A1 (en) Moving picture reproducing system, information terminal device and information display method
JP2006229453A (en) Program presentation system
US20230260549A1 (en) Information processing apparatus, information processing method, and program
US20140136733A1 (en) System and method for the collaborative recording, uploading and sharing of multimedia content over a computer network
JP3959525B2 (en) Application server program and application server in video content browsing system
KR101805302B1 (en) Apparatus and method for displaying multimedia contents

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant