WO2023074965A1 - Ott 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈 및 영상 추천 방법 - Google Patents

Ott 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈 및 영상 추천 방법 Download PDF

Info

Publication number
WO2023074965A1
WO2023074965A1 PCT/KR2021/015403 KR2021015403W WO2023074965A1 WO 2023074965 A1 WO2023074965 A1 WO 2023074965A1 KR 2021015403 W KR2021015403 W KR 2021015403W WO 2023074965 A1 WO2023074965 A1 WO 2023074965A1
Authority
WO
WIPO (PCT)
Prior art keywords
recommended
location
information
video data
image
Prior art date
Application number
PCT/KR2021/015403
Other languages
English (en)
French (fr)
Inventor
구원용
박병규
Original Assignee
엠랩 주식회사
(주)댁스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠랩 주식회사, (주)댁스 filed Critical 엠랩 주식회사
Publication of WO2023074965A1 publication Critical patent/WO2023074965A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Definitions

  • the present invention relates to a location-based video recommendation module and video recommendation method applied to a multimedia box for OTT service.
  • the present invention relates to a location-based video recommendation module and video recommendation method applied to a multimedia box for OTT service that can recommend and provide optimally customized video data (video) based on the
  • Hallyu contents provided by conventional OTT services are mainly provided by dramas and entertainment contents provided by large broadcasting companies and streaming services, so there is a limit to promoting the diversity of Hallyu contents.
  • the user in providing recommended videos according to the user's taste, the user does not actively utilize the location information of the place where the user is currently located, and uses only the user's previous viewing history and usage history information to identify recommended videos. In this respect, there is a limit to providing various recommended images to users.
  • the present invention was derived to solve the above-described problems, and the present invention recommends and provides video data (video) based on location information and movement path of a user terminal using an OTT service that provides live broadcasting and streaming contents. It is intended to provide a location-based video recommendation module and video recommendation method applied to a multimedia box for OTT service.
  • the location-based video recommendation module 100 applied to the multimedia box for OTT service includes a location information acquisition unit 110 that obtains location information (GIS) of a user terminal and the obtained location information. Based on this, the initial recommended video data is extracted from the database and provided so that it can be played on the user terminal. After extraction, the user terminal may include an image recommendation unit 120 that recommends replayability next to the recommended image data currently being executed.
  • GIS location information
  • the image recommendation unit 120 may map location and route information for each timeline of the recommended image data for each frame of the corresponding recommended image data to determine meta information of the recommended image data.
  • the image recommendation unit 120 recognizes a sign image for all frames of the recommended image data, extracts time information and location information for each frame from the recognized sign image, and determines the recommended image data. After recognizing the landmark image for the entire frame, time information and location information for each frame are extracted from the recognized landmark image, voice information is obtained from voice data included in the recommended image data, and the acquired voice information After processing in natural language, it is possible to extract time information and location information for a frame mapped with corresponding voice information.
  • the video recommendation unit 120 maps location and path information for each timeline of recommended video data pre-stored in the database for each frame of the corresponding recommended video data to identify meta information about the recommended video data; , When meta information on recommended video data pre-stored in the database is not identified, similar video data that satisfies a preset similarity criterion to the corresponding recommended video data is extracted from the database, and then meta information on the similar video data is extracted. Meta information about the recommended image data may be stored by mapping ? to the corresponding recommended image data.
  • the video recommendation unit 120 detects location information that has changed due to the location movement of the user terminal, and then recommends recommended video data corresponding to the identified location information so that it can be reproduced next to the currently running recommended video data.
  • the extraction of recommended image data corresponding to the changed location information may be updated by reflecting the moving path of the corresponding user terminal in real time.
  • a location-based image recommendation method applied to a multimedia box for OTT service includes the steps of acquiring location information (GIS) of a user terminal in a location information acquisition unit 110 and the image recommendation unit 120 In, based on the acquired location information, the initial recommended video data is extracted from the database and provided to be played back in the user terminal, and after identifying the changed location information according to the location movement of the user terminal, corresponding to the identified location information is provided. After extracting the recommended video data from the database, the method may include recommending so that it can be reproduced next to the recommended video data currently being executed in the user terminal.
  • GIS location information
  • the method may include recommending so that it can be reproduced next to the recommended video data currently being executed in the user terminal.
  • the video recommendation unit 120 maps location and route information for each timeline of the recommended video data for each frame of the corresponding recommended video data to identify meta information of the recommended video data. steps may be included.
  • the step of identifying meta information of the recommended video data by mapping location and path information for each timeline of the recommended video data to each frame of the corresponding recommended video data in the video recommendation unit 120.
  • the recommendation unit 120 recognizing the sign image for all frames of the recommended image data and then extracting time information and location information for each frame from the recognized sign image. After recognizing the landmark image for all frames of the recommended image data, extracting time information and location information for each frame from the recognized landmark image, and in the image recommendation unit 120, the information included in the recommended image data Acquiring voice information from voice data, processing the acquired voice information in natural language, and then extracting time information and location information for a frame mapped with the corresponding voice information.
  • the recommending step may include mapping location and route information for each timeline of recommended image data pre-stored in the database for each frame of the corresponding recommended image data to identify meta information about the recommended image data;
  • the video recommendation unit 120 extracts similar video data that meets a preset similarity criterion with the corresponding recommended video data from the database, and then extracts the corresponding similar video data.
  • the method may further include storing meta information of the recommended video data by mapping meta information of the video data to corresponding recommended video data.
  • the video recommending unit 120 after recognizing changed location information according to the location movement of the user terminal, recommended video data corresponding to the identified location information is currently being executed. Next, when the location of the user terminal is changed in a state in which it is recommended to be reproduced, a step of updating extraction of recommended video data corresponding to the changed location information by reflecting the movement path of the corresponding user terminal in real time may be included.
  • the present invention has an advantage of being able to recommend and provide optimally customized video data (video) based on the location information and moving path of a user terminal using an OTT service that provides live broadcasting and streaming content.
  • FIG. 1 is a diagram showing the configuration of a location-based video recommendation module 100 applied to a multimedia box for OTT service according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a concept of recommending and providing optimally customized video data (video) based on location information and movement path of a user terminal through a location-based video recommendation module 100 applied to a multimedia box for OTT service. .
  • FIG. 3 is a diagram sequentially illustrating a process of recommending a location-based video using the location-based video recommendation module 100 applied to a multimedia box for OTT service.
  • FIG. 1 is a diagram showing the configuration of a location-based video recommendation module 100 applied to a multimedia box for OTT service according to an embodiment of the present invention
  • FIG. 2 is a location-based video recommendation applied to a multimedia box for OTT service. It is a diagram showing the concept of recommending and providing optimally customized image data (video) based on the location information and movement path of the user terminal through the module 100 .
  • the location-based image recommendation module 100 applied to the multimedia box for OTT service largely includes a location information acquisition unit 110 and an image recommendation unit 120. It is composed by
  • the location information acquisition unit 110 obtains the location information (GIS) of the user terminal and transmits it to the image recommendation unit 120. At this time, even if the location of the user terminal continues to change, the changing location information and movement path are displayed in real time. come to understand
  • the image recommendation unit 120 extracts an initial recommended image related to the current place where the user is located based on the location information acquired through the location information acquisition unit 110 from the database and provides it to the user terminal, and then provides it to the user terminal.
  • the corresponding initial recommended video is played through the executed OTT service application.
  • the location information acquisition unit 110 continuously grasps the location information of the user terminal in real time, which means that the user's moving path can also be grasped.
  • the location information acquisition unit 110 determines that the user terminal is located at an intersection by moving, for example, 100 m in a forward direction from a specific location, the location information acquisition unit 110 extracts recommended image data related to directions for each fork in the intersection from the database. Afterwards, it is recommended to play back as the next recommended video data.
  • the location information obtaining unit 110 moves the location of the user terminal from the current position 1 to the position 2.
  • the initial recommended video data is played on the screen of the user terminal, but the recommendation video data related to the position in the 3rd direction and the 7th direction are displayed at the edge of the initial recommended video data.
  • Recommended image data related to the location of and recommended image data related to the location in the fourth direction are displayed together.
  • recommended video data can be displayed in a navigation format on the edge of the screen of the initial recommended video data currently being reproduced along the moving path of the user terminal.
  • the image recommendation unit 120 maps location and route information for each timeline of recommended image data stored in the database for each frame of the corresponding recommended image data to identify meta information about the recommended image data.
  • the video recommendation unit 120 in order for the video recommendation unit 120 to recommend accurate recommended video data corresponding to the location information of the user terminal, in addition to the location information of the user terminal, it is necessary to accurately grasp the meta information included in the corresponding recommended video data. more important
  • the video recommendation unit 120 accurately grasps meta information for each video data when storing recommended video data in a database or transmitting real-time streaming video data to a user terminal.
  • time information and location information for each frame are extracted from the recognized sign image, or landmark image for the entire frame of the recommended image data is recognized. Then, time information and location information for each frame are extracted from the recognized landmark image, or voice information is obtained from the voice data included in the recommended video data, and the acquired voice information is natural language-processed and then mapped with the corresponding voice information.
  • a method of extracting time information and location information for a frame may be used.
  • the video recommendation unit 120 recommends the next video based on meta information for each frame of the currently playing recommended video data. It is to identify and extract data more quickly and accurately.
  • the video recommendation unit 120 determines whether the recommended video data and the preset similarity criterion are satisfied when location and route information for each timeline of the recommended video data is not identified or meta information of the corresponding recommended video data is not identified.
  • GIS meta information of the recommended video data may be obtained by extracting the similar video data and mapping the GIS meta information of the similar video data to the recommended video data.
  • FIG. 3 is a diagram sequentially illustrating a process of recommending a location-based video using the location-based video recommendation module 100 applied to a multimedia box for OTT service.
  • the location information acquisition unit 110 obtains location information of the user terminal (S301), and the image recommendation unit 102 transmits initial recommended video data to the user terminal based on the obtained location information and It is reproduced (S302).
  • the location information acquisition unit 110 detects the location information change of the user terminal (S303), and the image recommendation unit 120 determines the location of the user terminal based on the changed location and movement path of the user terminal.
  • the movement direction is predicted, and recommended image data related to the expected movement direction is extracted and provided to the user terminal to be played next (S304).

Abstract

본 발명은 라이브 방송 및 스트리밍 컨텐츠를 제공하는 OTT 서비스를 이용하는 사용자 단말의 위치 정보 및 이동 경로에 기반하여 최적의 맞춤형 영상 데이터(동영상)를 추천 및 제공할 수 있도록 하는 OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈 및 영상 추천 방법에 관한 것이다.

Description

OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈 및 영상 추천 방법
본 발명은 OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈 및 영상 추천 방법에 관한 것으로서, 보다 구체적으로는, 라이브 방송 및 스트리밍 컨텐츠를 제공하는 OTT 서비스를 이용하는 사용자 단말의 위치 정보 및 이동 경로에 기반하여 최적의 맞춤형 영상 데이터(동영상)를 추천 및 제공할 수 있도록 하는 OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈 및 영상 추천 방법에 관한 것이다.
최근, 전세계적으로 한류 콘텐츠의 파급력 상승과 OTT 등 콘텐츠 선별 시청 시장의 확대됨에 따라, 아센 5개국 및 동남아 국가에서 한국 방송 콘텐츠 인기 상승 및 한류 콘텐츠를 한국어로 즐기고자 하는 니즈 증가되고 있다.
특히, 동남아에서 SVoD와 AVoD 시장이 경쟁 중에 있고, 광고형 서비스가 현재 높은 비율로 앞서고 있으며, 현지 브로드밴드 환경 향상으로 스마트폰과 TV 연동 플랫폼을 통해 편의성을 높인 서비스가 인기를 끌고 있음은 물론, 동남아시아 지역의 지상파 아날로그 방송에서 디지털로 전환 가속화도 진행되고 있다.
한편, 종래의 OTT 서비스의 경우, 서비스는 웹과 앱 등 온라인에만 집중하여, 실시간 방송을 대형 LCD TV 화면으로 시청하기 원하는 해외시청자들의 수요를 충족시키지 못하는 문제점을 가지고 있었다. 또한, 종래의 OTT 서비스에서 제공하는 한류 콘텐츠는 주로 대형 방송사, 스트리밍 서비스에서 제공되는 드라마, 예능 콘텐츠 위주로 제공되어 한류콘텐츠의 다양성을 홍보하는데 한계가 있었다.
뿐만 아니라, 종래의 OTT 서비스는 사용자 들의 취향에 따른 추천 동영상을 제공함에 있어서, 사용자가 현재 위치한 장소의 위치 정보를 적극 활용하지 못하고 사용자의 이전 시청 이력, 사용 이력 정보만을 활용하여 추천 영상을 파악한다는 점에서, 사용자에게 다양한 추천 영상을 제공하기에 한계가 있었다.
본 발명은 상술된 문제점을 해결하기 위해 도출된 것으로서, 본 발명은 라이브 방송 및 스트리밍 컨텐츠를 제공하는 OTT 서비스를 이용하는 사용자 단말의 위치 정보 및 이동 경로에 기반하여 영상 데이터(동영상)를 추천 및 제공할 수 있도록 하는 OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈 및 영상 추천 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈(100)은 사용자 단말의 위치정보(GIS)를 획득하는 위치정보 획득부(110) 및 획득된 상기 위치정보를 기반으로 데이터베이스 내에서 초기 추천 영상 데이터를 추출 및 사용자 단말에서 재생 가능하도록 제공하며, 사용자 단말의 위치 이동에 따른 변경된 위치정보를 파악한 후 해당 파악된 위치정보에 상응하는 추천 영상 데이터를 상기 데이터베이스 내에서 추출 후, 사용자 단말에서 현재 실행중인 추천 영상 데이터 다음으로 재생 가능하도록 추천하는 영상 추천부(120)를 포함할 수 있다.
일 실시예에서, 상기 영상 추천부(120)는 추천 영상 데이터의 타임라인 별 위치 및 경로 정보를 해당 추천 영상 데이터의 각 프레임 별로 매핑하여 추천 영상 데이터에 대한 메타정보를 파악할 수 있다.
일 실시예에서, 상기 영상 추천부(120)는 상기 추천 영상 데이터의 전체 프레임에 대한 표지판 이미지를 인식한 후 인식된 표지판 이미지로부터 각 프레임 별 시간 정보 및 위치 정보를 추출하고, 상기 추천 영상 데이터의 전체 프레임에 대한 랜드마크 이미지를 인식한 후 인식된 랜드마크 이미지로부터 각 프레임 별 시간 정보 및 위치 정보를 추출하며, 상기 추천 영상 데이터에 포함된 음성 데이터 내에서 음성 정보를 획득하고, 획득된 음성 정보를 자연어 처리한 후 해당 음성 정보와 매핑된 프레임에 대한 시간 정보 및 위치 정보를 추출할 수 있다.
일 실시예에서, 상기 영상 추천부(120)는 상기 데이터베이스 내에 기 저장된 추천 영상 데이터의 타임라인 별 위치 및 경로 정보를 해당 추천 영상 데이터의 각 프레임 별로 매핑하여 추천 영상 데이터에 대한 메타정보를 파악하되, 상기 데이터베이스 내에 기 저장된 추천 영상 데이터에 대한 메타정보가 파악되지 않는 경우, 상기 데이터베이스 내에서 해당 추천 영상 데이터와 기 설정된 유사도 기준을 만족하는 유사 영상 데이터를 추출한 후, 해당 유사 영상 데이터에 대한 메타정보를 해당 추천 영상 데이터에 매핑하여 추천 영상 데이터에 대한 메타정보를 저장할 수 있다.
일 실시예에서, 상기 영상 추천부(120)는 사용자 단말의 위치 이동에 따른 변경된 위치정보를 파악한 후 해당 파악된 위치정보에 상응하는 추천 영상 데이터를 현재 실행중인 추천 영상 데이터 다음으로 재생 가능하도록 추천한 상태에서 사용자 단말의 위치가 변경되는 경우, 해당 사용자 단말의 이동 경로를 실시간 반영하여 변경된 위치정보에 상응하는 추천 영상 데이터의 추출을 갱신할 수 있다.
본 발명의 다른 실시예에 따른 OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 방법은 위치정보 획득부(110)에서, 사용자 단말의 위치정보(GIS)를 획득하는 단계 및 영상 추천부(120)에서, 획득된 상기 위치정보를 기반으로 데이터베이스 내에서 초기 추천 영상 데이터를 추출 및 사용자 단말에서 재생 가능하도록 제공하며, 사용자 단말의 위치 이동에 따른 변경된 위치정보를 파악한 후 해당 파악된 위치정보에 상응하는 추천 영상 데이터를 상기 데이터베이스 내에서 추출 후, 사용자 단말에서 현재 실행중인 추천 영상 데이터 다음으로 재생 가능하도록 추천하는 단계를 포함할 수 있다.
일 실시예에서, 상기 추천하는 단계는 상기 영상 추천부(120)에서, 추천 영상 데이터의 타임라인 별 위치 및 경로 정보를 해당 추천 영상 데이터의 각 프레임 별로 매핑하여 추천 영상 데이터에 대한 메타정보를 파악하는 단계를 포함할 수 있다.
일 실시예에서, 상기 영상 추천부(120)에서, 추천 영상 데이터의 타임라인 별 위치 및 경로 정보를 해당 추천 영상 데이터의 각 프레임 별로 매핑하여 추천 영상 데이터에 대한 메타정보를 파악하는 단계는 상기 영상 추천부(120)에서, 상기 추천 영상 데이터의 전체 프레임에 대한 표지판 이미지를 인식한 후 인식된 표지판 이미지로부터 각 프레임 별 시간 정보 및 위치 정보를 추출하는 단계, 상기 영상 추천부(120)에서, 상기 추천 영상 데이터의 전체 프레임에 대한 랜드마크 이미지를 인식한 후 인식된 랜드마크 이미지로부터 각 프레임 별 시간 정보 및 위치 정보를 추출하는 단계 및 상기 영상 추천부(120)에서, 상기 추천 영상 데이터에 포함된 음성 데이터 내에서 음성 정보를 획득하고, 획득된 음성 정보를 자연어 처리한 후 해당 음성 정보와 매핑된 프레임에 대한 시간 정보 및 위치 정보를 추출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 추천하는 단계는 상기 데이터베이스 내에 기 저장된 추천 영상 데이터의 타임라인 별 위치 및 경로 정보를 해당 추천 영상 데이터의 각 프레임 별로 매핑하여 추천 영상 데이터에 대한 메타정보를 파악하되, 상기 데이터베이스 내에 기 저장된 추천 영상 데이터에 대한 메타정보가 파악되지 않는 경우, 상기 영상 추천부(120)에서, 상기 데이터베이스 내에서 해당 추천 영상 데이터와 기 설정된 유사도 기준을 만족하는 유사 영상 데이터를 추출한 후, 해당 유사 영상 데이터에 대한 메타정보를 해당 추천 영상 데이터에 매핑하여 추천 영상 데이터에 대한 메타정보를 저장하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 추천하는 단계는 상기 영상 추천부(120)에서, 사용자 단말의 위치 이동에 따른 변경된 위치정보를 파악한 후 해당 파악된 위치정보에 상응하는 추천 영상 데이터를 현재 실행중인 추천 영상 데이터 다음으로 재생 가능하도록 추천한 상태에서 사용자 단말의 위치가 변경되는 경우, 해당 사용자 단말의 이동 경로를 실시간 반영하여 변경된 위치정보에 상응하는 추천 영상 데이터의 추출을 갱신하는 단계를 포함할 수 있다.
본 발명의 일 측면에 따르면, 라이브 방송 및 스트리밍 컨텐츠를 제공하는 OTT 서비스를 이용하는 사용자 단말의 위치 정보 및 이동 경로에 기반하여 최적의 맞춤형 영상 데이터(동영상)를 추천 및 제공할 수 있는 이점을 가진다.
도 1은 본 발명의 일 실시예에 따른 OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈(100)의 구성을 도시한 도면이다.
도 2는 OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈(100)을 통해 사용자 단말의 위치 정보 및 이동 경로에 기반하여 최적의 맞춤형 영상 데이터(동영상)를 추천 및 제공하는 개념을 나타낸 도면이다.
도 3은 OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈(100)을 이용하여 위치 기반 영상을 추천하는 과정을 순서대로 도시한 도면이다.
이하, 본 발명의 이해를 돕기 위하여 바람직한 실시예를 제시한다. 그러나 하기의 실시예는 본 발명을 보다 쉽게 이해하기 위하여 제공되는 것일 뿐, 실시예에 의해 본 발명의 내용이 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈(100)의 구성을 도시한 도면이고, 도 2는 OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈(100)을 통해 사용자 단말의 위치 정보 및 이동 경로에 기반하여 최적의 맞춤형 영상 데이터(동영상)를 추천 및 제공하는 개념을 나타낸 도면이다.
도 1 및 도 2를 살펴보면, 본 발명의 일 실시예에 따른 OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈(100)은 크게 위치정보 획득부(110) 및 영상 추천부(120)를 포함하여 구성된다.
위치정보 획득부(110)는 사용자 단말의 위치정보(GIS)를 획득하여 이를 영상 추천부(120)로 전달하게 되며, 이때 사용자 단말의 위치가 계속해서 변하더라도 변하는 위치정보 및 이동 경로를 실시간으로 파악하게 된다.
영상 추천부(120)는 위치정보 획득부(110)를 통해 획득된 위치정보를 기반으로 사용자가 위치한 현 장소와 관련된 초기 추천 영상을 데이터베이스 내에서 추출 후 사용자 단말에 제공하게 되고, 사용자 단말 상에 실행된 OTT 서비스용 어플리케이션을 통해 해당 초기 추천 영상이 재생된다.
이때, 위치정보 획득부(110)에서는 사용자 단말의 위치정보를 실시간으로 계속해서 파악하게 되며, 이는 사용자의 이동 경로 또한 파악 가능함을 의미한다.
따라서, 위치정보 획득부(110)는 사용자 단말이 특정 위치에서 전진 방향으로 예를 들어 100m 이동하여 교차점에 위치하는 것으로 판단되는 경우, 해당 교차점의 갈림길 별 방향과 관련된 추천 영상 데이터를 데이터베이스 내에서 추출 후 다음 추천 영상 데이터로 재생 가능하도록 추천하게 된다.
예를 들어, 도 2(a)를 살펴보면, 사용자가 현재 1번 위치에서 2번위치로 이동한 경우, 위치정보 획득부(110)는 사용자 단말의 위치가 현재 1번 위치에서 2번 위치로 이동한 것을 파악하게 되고, 도 2(b)와 같이 사용자 단말의 화면 상에 초기 추천 영상 데이터가 재생되도록 하되, 해당 초기 추천 영상 데이터의 가장자리에 3번 방향의 위치와 관련된 추천 영상 데이터, 7번 방향의 위치와 관련된 추천 영상 데이터, 4번 방향의 위치와 관련된 추천 영상 데이터가 각각 함께 표시되도록 한다.
즉, 사용자 단말의 이동 경로에 따라 현재 재생되고 있는 초기 추천 영상 데이터의 화면 가장자리 영역으로 추천 영상 데이터들이 네이게이션 형식으로 표시될 수 있는 것이다.
이를 위하여, 영상 추천부(120)는 데이터베이스 내에 저장된 추천 영상 데이터들의 타임라인 별 위치 및 경로 정보를 해당 추천 영상 데이터의 각 프레임 별로 매핑하여 추천 영상 데이터에 대한 메타정보를 파악하게 된다.
보다 구체적으로, 영상 추천부(120)에서 사용자 단말의 위치정보에 상응하는 정확한 추천 영상 데이터를 추천하기 위해서는, 사용자 단말의 위치정보 외에도, 해당 추천 영상 데이터에 포함된 메타정보를 정확히 파악하는 것이 무엇보다 중요하다.
따라서, 영상 추천부(120)에서는 데이터베이스 내에 추천 영상 데이터를 저장하거나, 또는 실시간 스트리밍 영상 데이터를 사용자 단말에 전송함에 있어서, 각 영상 데이터 별 메타정보를 정확히 파악하게 된다.
이때, 영상 데이터 전체에 대한 메타정보가 아닌, 영상 데이터의 타임라임 별 위치 및 경로 정보를 각 영상 데이터의 프레임에 매핑함으로써 영상 데이터에 대한 정확한 GIS 메타정보를 획득할 수 있다.
이러한 방법으로는, 추천 영상 데이터의 전체 프레임에 대한 표지판 이미지를 인식한 후 인식된 표지판 이미지로부터 각 프레임 별 시간 정보 및 위치 정보를 추출하거나, 추천 영상 데이터의 전체 프레임에 대한 랜드마크 이미지를 인식한 후 인식된 랜드마크 이미지로부터 각 프레임 별 시간 정보 및 위치 정보를 추출하거나, 또는 추천 영상 데이터에 포함된 음성 데이터 내에서 음성 정보를 획득하고, 획득된 음성 정보를 자연어 처리한 후 해당 음성 정보와 매핑된 프레임에 대한 시간 정보 및 위치 정보를 추출하는 방법이 이용될 수 있다.
이는, 추천 영상 데이터가 재생되고 있는 가운데 사용자가 방향을 갑자기 전환하거나 위치가 급하게 변경되는 경우, 영상 추천부(120)에서는 현재 재생되고 있는 추천 영상 데이터의 각 프레임 별 메타정보를 토대로 다음 추천할 영상 데이터를 보다 신속하고 정확하게 파악 및 추출하기 위함이다.
한편, 영상 추천부(120)는 만약 추천 영상 데이터의 타임라인 별 위치 및 경로 정보가 파악되지 않거나 해당 추천 영상 데이터의 메타정보가 파악되지 않는 경우, 해당 추천 영상 데이터와 기 설정된 유사도 기준을 만족하는 유사 영상 데이터를 추출하고, 해당 유사 영상 데이터의 GIS 메타정보를 추천 영상 데이터에 매핑함으로써 추천 영상 데이터의 GIS 메타정보를 획득할 수 있다.
다음으로는, 도 3을 통해 OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈(100)을 이용하여 위치 기반 영상을 추천하는 과정을 순서대로 살펴보도록 한다.
도 3은 OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈(100)을 이용하여 위치 기반 영상을 추천하는 과정을 순서대로 도시한 도면이다.
도 3을 살펴보면, 먼저 위치정보 획득부(110)에서 사용자 단말의 위치정보를 획득하고(S301), 영상 추천부(102)에서는 획득된 위치정보를 기반으로 사용자 단말에 초기 추천 영상 데이터를 전송 및 재생되도록 한다(S302).
사용자 단말의 위치가 변경되는 경우 위치정보 획득부(110)에서는 사용자 단말의 위치정보 변경을 파악하게 되며(S303), 영상 추천부(120)에서는 사용자 단말의 변경된 위치 및 이동 경로를 토대로 사용자 단말의 이동 방향을 예상하게 되며 예상된 이동 방향과 관련된 추천 영상 데이터를 추출 및 사용자 단말에 제공하여 다음으로 재생되도록 한다(S304).
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 사용자 단말의 위치정보(GIS)를 획득하는 위치정보 획득부(110); 및
    획득된 상기 위치정보를 기반으로 데이터베이스 내에서 초기 추천 영상 데이터를 추출 및 사용자 단말에서 재생 가능하도록 제공하며, 사용자 단말의 위치 이동에 따른 변경된 위치정보를 파악한 후 해당 파악된 위치정보에 상응하는 추천 영상 데이터를 상기 데이터베이스 내에서 추출 후, 사용자 단말에서 현재 실행중인 추천 영상 데이터 다음으로 재생 가능하도록 추천하는 영상 추천부(120);를 포함하는 것을 특징으로 하는, OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈.
  2. 제1항에 있어서,
    상기 영상 추천부(120)는,
    추천 영상 데이터의 타임라인 별 위치 및 경로 정보를 해당 추천 영상 데이터의 각 프레임 별로 매핑하여 추천 영상 데이터에 대한 메타정보를 파악하는 것을 특징으로 하는, OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈.
  3. 제2항에 있어서,
    상기 영상 추천부(120)는,
    상기 추천 영상 데이터의 전체 프레임에 대한 표지판 이미지를 인식한 후 인식된 표지판 이미지로부터 각 프레임 별 시간 정보 및 위치 정보를 추출하고, 상기 추천 영상 데이터의 전체 프레임에 대한 랜드마크 이미지를 인식한 후 인식된 랜드마크 이미지로부터 각 프레임 별 시간 정보 및 위치 정보를 추출하며, 상기 추천 영상 데이터에 포함된 음성 데이터 내에서 음성 정보를 획득하고, 획득된 음성 정보를 자연어 처리한 후 해당 음성 정보와 매핑된 프레임에 대한 시간 정보 및 위치 정보를 추출하는 것을 특징으로 하는, OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈.
  4. 제2항에 있어서,
    상기 영상 추천부(120)는,
    상기 데이터베이스 내에 기 저장된 추천 영상 데이터의 타임라인 별 위치 및 경로 정보를 해당 추천 영상 데이터의 각 프레임 별로 매핑하여 추천 영상 데이터에 대한 메타정보를 파악하되, 상기 데이터베이스 내에 기 저장된 추천 영상 데이터에 대한 메타정보가 파악되지 않는 경우,
    상기 데이터베이스 내에서 해당 추천 영상 데이터와 기 설정된 유사도 기준을 만족하는 유사 영상 데이터를 추출한 후, 해당 유사 영상 데이터에 대한 메타정보를 해당 추천 영상 데이터에 매핑하여 추천 영상 데이터에 대한 메타정보를 저장하는 것을 특징으로 하는, OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈.
  5. 제1항에 있어서,
    상기 영상 추천부(120)는,
    사용자 단말의 위치 이동에 따른 변경된 위치정보를 파악한 후 해당 파악된 위치정보에 상응하는 추천 영상 데이터를 현재 실행중인 추천 영상 데이터 다음으로 재생 가능하도록 추천한 상태에서 사용자 단말의 위치가 변경되는 경우, 해당 사용자 단말의 이동 경로를 실시간 반영하여 변경된 위치정보에 상응하는 추천 영상 데이터의 추출을 갱신하는 것을 특징으로 하는, OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈.
  6. 위치정보 획득부(110)에서, 사용자 단말의 위치정보(GIS)를 획득하는 단계; 및
    영상 추천부(120)에서, 획득된 상기 위치정보를 기반으로 데이터베이스 내에서 초기 추천 영상 데이터를 추출 및 사용자 단말에서 재생 가능하도록 제공하며, 사용자 단말의 위치 이동에 따른 변경된 위치정보를 파악한 후 해당 파악된 위치정보에 상응하는 추천 영상 데이터를 상기 데이터베이스 내에서 추출 후, 사용자 단말에서 현재 실행중인 추천 영상 데이터 다음으로 재생 가능하도록 추천하는 단계;를 포함하는 것을 특징으로 하는, OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 방법.
  7. 제6항에 있어서,
    상기 추천하는 단계는,
    상기 영상 추천부(120)에서, 추천 영상 데이터의 타임라인 별 위치 및 경로 정보를 해당 추천 영상 데이터의 각 프레임 별로 매핑하여 추천 영상 데이터에 대한 메타정보를 파악하는 단계;를 포함하는 것을 특징으로 하는, OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 방법.
  8. 제7항에 있어서,
    상기 영상 추천부(120)에서, 추천 영상 데이터의 타임라인 별 위치 및 경로 정보를 해당 추천 영상 데이터의 각 프레임 별로 매핑하여 추천 영상 데이터에 대한 메타정보를 파악하는 단계는,
    상기 영상 추천부(120)에서, 상기 추천 영상 데이터의 전체 프레임에 대한 표지판 이미지를 인식한 후 인식된 표지판 이미지로부터 각 프레임 별 시간 정보 및 위치 정보를 추출하는 단계;
    상기 영상 추천부(120)에서, 상기 추천 영상 데이터의 전체 프레임에 대한 랜드마크 이미지를 인식한 후 인식된 랜드마크 이미지로부터 각 프레임 별 시간 정보 및 위치 정보를 추출하는 단계; 및
    상기 영상 추천부(120)에서, 상기 추천 영상 데이터에 포함된 음성 데이터 내에서 음성 정보를 획득하고, 획득된 음성 정보를 자연어 처리한 후 해당 음성 정보와 매핑된 프레임에 대한 시간 정보 및 위치 정보를 추출하는 단계;를 포함하는 것을 특징으로 하는, OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 방법.
  9. 제7항에 있어서,
    상기 추천하는 단계는,
    상기 데이터베이스 내에 기 저장된 추천 영상 데이터의 타임라인 별 위치 및 경로 정보를 해당 추천 영상 데이터의 각 프레임 별로 매핑하여 추천 영상 데이터에 대한 메타정보를 파악하되, 상기 데이터베이스 내에 기 저장된 추천 영상 데이터에 대한 메타정보가 파악되지 않는 경우,
    상기 영상 추천부(120)에서, 상기 데이터베이스 내에서 해당 추천 영상 데이터와 기 설정된 유사도 기준을 만족하는 유사 영상 데이터를 추출한 후, 해당 유사 영상 데이터에 대한 메타정보를 해당 추천 영상 데이터에 매핑하여 추천 영상 데이터에 대한 메타정보를 저장하는 단계;를 더 포함하는 것을 특징으로 하는, OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 방법.
  10. 제6항에 있어서,
    상기 추천하는 단계는,
    상기 영상 추천부(120)에서, 사용자 단말의 위치 이동에 따른 변경된 위치정보를 파악한 후 해당 파악된 위치정보에 상응하는 추천 영상 데이터를 현재 실행중인 추천 영상 데이터 다음으로 재생 가능하도록 추천한 상태에서 사용자 단말의 위치가 변경되는 경우, 해당 사용자 단말의 이동 경로를 실시간 반영하여 변경된 위치정보에 상응하는 추천 영상 데이터의 추출을 갱신하는 단계;를 포함하는 것을 특징으로 하는, OTT 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 방법.
PCT/KR2021/015403 2021-10-29 2021-10-29 Ott 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈 및 영상 추천 방법 WO2023074965A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0146363 2021-10-29
KR1020210146363A KR20230061780A (ko) 2021-10-29 2021-10-29 Ott 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈 및 영상 추천 방법

Publications (1)

Publication Number Publication Date
WO2023074965A1 true WO2023074965A1 (ko) 2023-05-04

Family

ID=86158209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/015403 WO2023074965A1 (ko) 2021-10-29 2021-10-29 Ott 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈 및 영상 추천 방법

Country Status (2)

Country Link
KR (1) KR20230061780A (ko)
WO (1) WO2023074965A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100100180A (ko) * 2009-03-05 2010-09-15 삼성전자주식회사 컨텐츠 추천 방법 및 장치
KR101617649B1 (ko) * 2014-12-26 2016-05-03 세종대학교산학협력단 영상의 관심 구간 추천 시스템 및 방법
KR20170031954A (ko) * 2015-09-14 2017-03-22 에스케이플래닛 주식회사 경로안내 기반 컨텐츠를 추천하기 위한 장치 및 방법
KR20180109378A (ko) * 2017-03-28 2018-10-08 주식회사 리얼타임테크 대용량 영상 데이터 분석을 위한 객체 정보 저장 및 관리 장치
KR20190010396A (ko) * 2016-05-18 2019-01-30 로비 가이드스, 인크. 사용자 궤적에 기반한 미디어 콘텐츠의 추천

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102149343B1 (ko) 2018-10-04 2020-08-28 세종대학교산학협력단 모바일 ott 서비스와 iptv 서비스의 시청 시간대 분석을 통한 iptv 시청자 추론 서버 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100100180A (ko) * 2009-03-05 2010-09-15 삼성전자주식회사 컨텐츠 추천 방법 및 장치
KR101617649B1 (ko) * 2014-12-26 2016-05-03 세종대학교산학협력단 영상의 관심 구간 추천 시스템 및 방법
KR20170031954A (ko) * 2015-09-14 2017-03-22 에스케이플래닛 주식회사 경로안내 기반 컨텐츠를 추천하기 위한 장치 및 방법
KR20190010396A (ko) * 2016-05-18 2019-01-30 로비 가이드스, 인크. 사용자 궤적에 기반한 미디어 콘텐츠의 추천
KR20180109378A (ko) * 2017-03-28 2018-10-08 주식회사 리얼타임테크 대용량 영상 데이터 분석을 위한 객체 정보 저장 및 관리 장치

Also Published As

Publication number Publication date
KR20230061780A (ko) 2023-05-09

Similar Documents

Publication Publication Date Title
US6691313B2 (en) Terminal apparatus and method for achieving interactive operations by displaying a desired piece of image information at high speed using cache memories, out of a large amount of image information sent in a one-way direction
KR101793738B1 (ko) 미디어 ｉｄ 정합 기반의 방송 ａｒ 광고 서비스 시스템 및 그 방법
WO2015075850A1 (ja) 情報処理装置
EP2306717B1 (en) Communication terminal, search server, and communication system
JP5576667B2 (ja) 情報送出表示システム
US20160261927A1 (en) Method and System for Providing and Displaying Optional Overlays
US20050253966A1 (en) System for processing video signals
US7039933B1 (en) Enhanced TV broadcasting method and system using tags for incorporating local content into a program data stream
JP2000165829A (ja) タンデム方式で表示するための方法およびコンピュ―タ・プログラム・デバイス
JPH0993550A (ja) 補完番組検知及び表示装置
US8645983B2 (en) System and method for audible channel announce
KR20150083355A (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
CN102088631B (zh) 数字电视节目直播和点播方法及相关装置和系统
JPH0993505A (ja) 文字多重デコーダを有するテレビ受信機
US6806913B2 (en) Apparatus and method for processing additional information in data broadcast system
EP2135451B1 (en) Content provision system and method
CN111405339A (zh) 一种分屏显示方法、电子设备及存储介质
WO2018043923A1 (ko) 디스플레이장치 및 그 제어방법
WO2023074965A1 (ko) Ott 서비스용 멀티미디어 박스에 적용되는 위치 기반 영상 추천 모듈 및 영상 추천 방법
JP2012244340A (ja) 受信機連携システム
US20130033641A1 (en) Method for auto-detecting audio language name and television using the same
US8898704B2 (en) Display device and method for providing data broadcasting thereof
WO2020189816A1 (ko) 360 vr 인터랙티브 중계를 위한 사용자 인터페이스 및 방법
JP2001320644A (ja) 番組ガイド表示制御装置
US8881197B2 (en) Apparatus and method for processing augmented broadcast content using analysis algorithm based on reference signal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21962589

Country of ref document: EP

Kind code of ref document: A1