KR102370699B1 - 영상에 기반한 정보 획득 방법 및 장치 - Google Patents

영상에 기반한 정보 획득 방법 및 장치 Download PDF

Info

Publication number
KR102370699B1
KR102370699B1 KR1020207024019A KR20207024019A KR102370699B1 KR 102370699 B1 KR102370699 B1 KR 102370699B1 KR 1020207024019 A KR1020207024019 A KR 1020207024019A KR 20207024019 A KR20207024019 A KR 20207024019A KR 102370699 B1 KR102370699 B1 KR 102370699B1
Authority
KR
South Korea
Prior art keywords
subject
terminal
image
related information
screen
Prior art date
Application number
KR1020207024019A
Other languages
English (en)
Other versions
KR20200110407A (ko
Inventor
쿤 왕
웨이샨 동
춘양 마
Original Assignee
바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 filed Critical 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Publication of KR20200110407A publication Critical patent/KR20200110407A/ko
Application granted granted Critical
Publication of KR102370699B1 publication Critical patent/KR102370699B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 출원은 영상에 기반한 정보 획득 방법 및 장치을 제공하고, 상기 방법은, 단말기가 현재 재생되는 영상 화면 중의 주체를 검출하고, 영상 화면 중에서 주체 이미지를 캡쳐하고, 주체 이미지에 따라 주체 관련 정보를 획득하고, 주체 관련 정보와 영상 화면을 동일 스크린에 디스플레이 한다. 단말기가 영상 화면 중의 주체를 능동적으로 검출하고, 주체 관련 정보를 획득하여 사용자에게 디스플레이하는 것을 트리거함으로써, 사용자에게 능동적으로 영상 중의 주체 관련 내용을 추천할 수 있어, 사용자의 아무런 조작이 필요하지 않기에, 사용자 체험을 향상시킨다.

Description

영상에 기반한 정보 획득 방법 및 장치
본 출원은 영상 기술 분야에 관한 것으로, 특히 영상에 기반한 정보 획득 방법 및 장치에 관한 것이다.
본 출원은 2018년 10월 18일 중국 특허국에 제출한 출원번호가 2018112151335이고, 출원명칭이 "영상에 기반한 정보 획득 방법 및 장치"인 중국 특허 출원의 우선권을 청구하며, 그 전부 내용은 인용을 통해 본 출원에 결합된다.
스마트폰, 태블릿 PC, 스마트 TV, 스마트 홈 등 스마트 단말기의 보급에 따라, 스마트 단말기를 통해 영상을 관람하는 것이 사람들이 일상 생활에서 오락을 하거나 정보를 획득하는 중요한 수단으로 되고 있다. 현재, 사용자는 스마트 단말기를 통해 영상을 재생하면서 영상 화면 중의 내용을 기반으로 인터랙션할 수 없는 실정이다.
만약, 사용자가 영상이 재생되는 과정에서 영상 중의 어느 인물, 물체 심지어 장면에 대하여 관심이 있으면, 사용자는 현재 영상의 재생을 중단하고 검색 엔진을 통해 검색하거나, 또는 기타 기기를 사용하여 검색하는 수 밖에 없으므로, 사용자에 있어서 조작이 보다 번거롭고, 시간을 많이 소비하게 된다. 또한, 사용자는 무엇을 검색해야 하는지 알 수 없는 문제점에 직면할 수 있으며, 예를 들어, 사용자가 영상 중의 어느 인물에 대하여 관심은 있지만, 그 인물이 누구인지 알지 못하기에 검색 엔진에 정확한 키워드를 입력하여 검색할 수 없다.
본 출원은 사용자의 트리거 없이, 사용자에게 능동적으로 영상 중의 주체 관련 내용을 추천할 수 있어, 사용자 체험을 향상시킬 수 있는 영상에 기반한 정보 획득 방법 및 장치를 제공한다.
본 출원의 제1 측면에 따른 영상에 기반한 정보 획득 방법은,
단말기가 현재 재생되는 영상 화면 중의 주체를 검출하는 단계;
상기 단말기가 상기 영상 화면 중에서 상기 주체의 이미지를 캡쳐하는 단계;
상기 단말기가 상기 주체의 이미지에 따라 상기 주체 관련 정보를 획득하는 단계;
상기 단말기가 상기 주체 관련 정보와 상기 영상 화면을 동일 스크린에 디스플레이하는 단계를 포함한다.
단말기가 영상 화면 중의 주체를 능동적으로 검출하고, 주체 관련 정보를 획득하여 사용자에게 디스플레이하는 것을 트리거하함으로써, 사용자에게 능동적으로 영상 중의 주체 관련 내용을 추천할 수 있고, 사용자의 아무런 조작도 필요하지 않고, 사용자 체험을 향상시킨다.
하나의 예시적인 방식에서, 상기 단말기가 상기 주체의 이미지에 따라 상기 주체 관련 정보를 획득하는 단계는,
상기 단말기가 서버에 상기 주체의 이미지를 발송하여, 상기 서버가 상기 주체의 이미지에 따라 상기 주체를 식별하도록 하는 단계;
상기 단말기가 상기 서버에서 발송한 상기 주체 관련 정보를 수신하는 단계를 포함한다.
하나의 예시적인 방식에서, 상기 단말기가 상기 서버에서 발송한 상기 주체 관련 정보를 수신하는 단계 전에,
상기 단말기가 상기 서버에서 발송한 상기 주체의 식별 결과를 수신하는 단계;
상기 단말기가 상기 식별 결과에 따라 상기 주체가 검출되었었는지 판단하는 단계;
만약 상기 주체가 검출되지 않았으면, 상기 단말기는 상기 서버에 데이터 요청을 발송하고, 상기 데이터 요청은 상기 주체 관련 정보를 요청하여 획득하기 위한 것인 단계를 더 포함한다.
단말기가 서버에서 발송한 식별 결과에 따라 주체가 검출되었었는지 판단하고, 만약 상기 주체가 검출되었으면 상기 단말기는 검색 추전 프로세스를 종료하기에, 사용자에게 동일한 주체 관련 내용을 중복적으로 추천하는 것을 피하고, 사용자 체험을 향상시킬 수 있으며, 서버에 동일한 내용을 중복적으로 요청함으로써 나타나는 리소스 낭비를 피하게 된다.
또 하나의 예시적인 방식에서, 상기 단말기가 상기 주체의 이미지에 따라 상기 주체 관련 정보를 획득하는 단계는,
상기 단말기가 상기 주체의 이미지에 따라, 상기 주체를 식별하여 식별 결과를 획득하는 단계;
상기 단말기가 상기 식별 결과에 따라, 상기 주체가 검출되었었는지 판단하는 단계;
만약 상기 주체가 검출되지 않았으면, 상기 단말기는 서버에 데이터 요청을 발송하고, 상기 데이터 요청은 상기 주체 관련 정보를 요청하여 획득하기 위한 것인 단계;
상기 단말기가 상기 서버에서 발송한 상기 주체 관련 정보를 수신하는 단계를 포함한다.
단말기가 주체에 대하여 식별하고, 식별 결과에 따라 주체가 검출되었었는지 판단하고, 만약 상기 주체가 검출되었으면 상기 단말기는 검색 추전 프로세스를 종료하기에, 사용자에게 동일한 주체 관련 내용을 중복적으로 추천하는 것을 피하고, 사용자 체험을 향상시킬 수 있으며, 서버에 동일한 내용을 중복적으로 요청함으로써 나타나는 리소스 낭비를 피하게 된다.
하나의 예시적인 방식에서, 상기 방법은,
상기 단말기가 스크린에 제시 정보를 디스플레이하고, 상기 제시 정보는 스크린 상의 관련 정보가 상기 주체 관련 정보임을 제시하기 위한 것인 단계를 더 포함한다.
하나의 예시적인 방식에서, 상기 단말기가 상기 주체 관련 정보와 상기 영상 화면을 동일 스크린에 디스플레이하는 단계는,
상기 단말기가 상기 주체 관련 내용을 상기 영상 내용의 기설정 위치에 겹치게 디스플레이하고, 상기 주체 관련 내용의 디스플레이 창은 상기 영상의 디스플레이 창의 절반 미만인 단계를 포함한다.
주체 관련 내용을 영상 내용 위에 겹치게 디스플레이함으로써, 주체 관련 내용과 영상 내용을 보다 적당하게 융합할 수 있으며, 사용자에게 보다 좋은 체험을 제공한다.
또 하나의 예시적인 방식에서, 상기 단말기가 상기 주체 관련 정보와 상기 영상 화면을 동일 스크린에 디스플레이하는 단계는,
상기 단말기가 상기 주체의 내용을 상기 영상의 디스플레이 창 외의 기설정 영역에 디스플레이하는 단계를 포함한다.
하나의 예시적인 방식에서, 상기 단말기가 현재 재생되는 영상 화면 중의 주체를 검출하는 단계는,
상기 단말기가 상기 영상 화면 중의 검출 대상의 윤곽을 검출하는 단계;
상기 단말기가 상기 영상 화면 중의 검출 대상의 윤곽에 따라 상기 주체를 확정하는 단계를 포함한다.
본 출원의 제2측면에 따른 영상에 기반한 정보 획득 장치는,
단말기에서 현재 재생되는 영상 화면 중의 주체를 검출하는 검출 모듈;
상기 영상 화면 중에서 상기 주체의 이미지를 캡쳐하는 캡쳐 모듈;
상기 주체의 이미지에 따라 상기 주체 관련 정보를 획득하는 획득 모듈;
상기 주체 관련 정보와 상기 영상 화면을 동일 스크린에 디스플레이하는 디스플레이 모듈을 포함한다.
하나의 예시적인 방식에서, 상기 획득 모듈은 구체적으로,
상기 주체의 이미지를 서버에 발송하여, 상기 서버가 상기 주체의 이미지에 따라 상기 주체를 식별하도록 하며;
상기 서버에서 발송한 상기 주체 관련 정보를 수신한다.
하나의 예시적인 방식에서, 상기 획득 모듈은 상기 서버에서 발송한 상기 주체 관련 정보를 수신하기 전에, 또한,
상기 서버에서 발송한 상기 주체의 식별 결과를 수신하고;
상기 식별 결과에 따라 상기 주체가 검출되었었는지 판단하고;
만약 상기 주체가 검출되지 않았으면, 상기 서버에 데이터 요청을 발송하고, 상기 데이터 요청은 상기 주체 관련 정보를 요청하여 획득하기 위한 것이다.
또 하나의 예시적인 방식에서, 상기 획득 모듈은 구체적으로,
상기 주체의 이미지에 따라, 상기 주체를 식별하여 식별 결과를 획득하고;
상기 식별 결과에 따라, 상기 주체가 검출되었었는지 판단하고;
만약 상기 주체가 검출되지 않았으면, 서버에 데이터 요청을 발송하고, 상기 데이터 요청은 상기 주체 관련 정보를 요청하여 획득하기 위한 것이며;
상기 서버가 발송한 상기 주체 관련 정보를 수신한다.
하나의 예시적인 방식에서, 상기 디스플레이 모듈은 또한, 스크린 상에 제시 정보를 디스플레이하고, 상기 제시 정보는 스크린 상의 관련 정보가 상기 주체 관련 정보임을 제시하기 위한 것이다.
하나의 예시적인 방식에서, 상기 디스플레이 모듈은 구체적으로,
상기 주체 관련 내용을 상기 영상 내용의 기설정 위치에 겹치게 디스플레이하고, 상기 주체 관련 내용의 디스플레이 창은 상기 영상의 디스플레이 창의 절반 미만이다.
또 하나의 예시적인 방식에서, 상기 디스플레이 모듈은 구체적으로,
상기 주체의 내용을 상기 영상의 디스플레이 창 외의 기설정 영역에 디스플레이한다.
하나의 예시적인 방식에서, 상기 검출 모듈은 구체적으로,
상기 영상 화면 중의 검출 대상의 윤곽을 검출하고;
상기 영상 화면 중의 검출 대상의 윤곽에 따라 상기 주체를 확정한다.
본 출원의 제3 측면에 따른 단말기에 있어서, 프로세서, 메모리와 송수신기를 포함하고, 상기 메모리에는 명령이 저장되고, 상기 송수신기는 기타 기기와 통신하고, 상기 프로세서는 상기 메모리에 저장된 명령을 실행하여 상기 단말기가 본 출원의 제1 측면에 따른 방법을 수행하도록 한다.
본 출원의 제4 측면에 따른 컴퓨터 판독 가능 저장 매체에 있어서, 상기 컴퓨터 판독 가능 저장 매체에는 명령이 저장되고, 상기 명령이 실행될 때 컴퓨터로 하여금 본 출원의 제1 측면에 따른 방법을 수행하도록 한다.
본 출원에 따른 영상에 기반한 정보 획득 방법 및 장치는, 단말기가 현재 재생되는 영상 화면 중의 주체를 검출하고, 영상 화면 중에서 주체의 이미지를 캡쳐하고, 주체 이미지에 따라 주체 관련 정보를 획득하고, 주체 관련 정보와 영상 화면을 동일 스크린에 디스플레이한다. 단말기가 영상 화면 중의 주체를 능동적으로 검출하고, 주체 관련 정보를 획득하여 사용자에게 디스플레이하는 것을 트리거함으로써, 사용자에게 능동적으로 영상 중의 주체 관련 내용을 추천할 수 있어, 사용자의 아무런 조작이 필요하지 않기에, 사용자 체험을 향상시킨다.
도 1은 본 출원에 적용되는 네트워크 구조의 도면이다.
도 2는 본 출원의 실시예 1에 따른 영상에 기반한 정보 획득 방법의 흐름도이다.
도 3은 영상 화면과 주체 관련 정보의 일 디스플레이 도면이다.
도 4는 영상 화면과 주체 관련 정보의 다른 일 디스플레이 도면이다.
도 5는 본 출원의 실시예 2에 따른 영상에 기반한 정보 획득 방법의 시그널링 흐름도이다.
도 6은 본 출원의 실시예 3에 따른 영상에 기반한 정보 획득 장치의 구조도이다.
도 7은 본 출원의 실시예 4에 따른 단말기의 구조도이다.
본 출원은 영상에 기반한 정보 획득 방법을 제공하며, 도 1은 본 출원에 적용되는 네트워크 구조의 도면이고, 도 1에 도시된 바와 같이, 해당 네트워크 구조는 적어도 하나의 단말기(11)와 적어도 하나의 서버(12)를 포함한다. 단말기(11)는 영상을 재생할 수 있으며, 단말기(11)는 설치된 영상 플레이어를 통해 영상을 재생할 수 있고, 브라우저를 통해 영상을 재생할 수도 있다. 단말기(11)는 단말(Terminal), 사용자 기기(user equipment, UE로 약칭), 액세스 단말, 사용자 유닛, 모바일 기기, 사용자 단말, 무선 통신 기기, 사용자 에이젼트 또는 사용자 장치라고도 불리운다. 단말기는 개인 휴대 정보 (personal digital assistant, PDA로 약칭) 기기, 스마트 TV, 무선 통신 기능을 구비한 핸드헬드 기기(예를 들면 스마트폰, 태블릿 PC), 컴퓨팅 기기(예를 들면, 개인용 컴퓨터(personal computer, PC로 약칭), 차량 탑재 기기 및 웨어러블 기기 등일 수 있다.
서버(12)는 이미지 식별에 사용될 수 있고, 서버(12)에는 사전에 대량의 인물, 물체, 풍경 등 이미지 특징이 저장되어, 추후 단말기에서 발송된 이미지에 따라 미리 저장된 대량의 이미지의 특징 파라미터와 매칭시켜 해당 이미지 중의 인물, 물체 또는 풍경 등을 식별할 수 있다. 서버(12)는 또한 이미지 주체 관련 내용을 생성할 수 있고, 여기서, 서버(12)에는 인물, 물체, 풍경 등의 관련 내용이 저장될 수 있으며, 인물, 물체, 풍경 등의 관련 내용은 기타 서버에 저장될 수도 있다.
도 2는 본 출원의 실시예 1에 따른 영상에 기반한 정보 획득 방법의 흐름도이고, 도2에 도시된 바와 같이, 본 실시예의 방법은 아래의 단계를 포함한다.
단계(S101), 단말기가 현재 재생되는 영상 화면 중의 주체를 검출한다.
단말기는 설치된 영상 플레이어로 영상을 재생할 수 있고, 브라우저를 통해 영상을 재생할 수도 있으며, 해당 영상은 드라마, 영화 또는 기타 프로그램일 수 있다. 단말기는 현재 재생되는 영상 화면 중의 주체를 주기적으로, 예를 들어, 5분마다 1회 검출할 수 있다.
선택 가능하게, 영상 재생 페이지에는 검색 추천 기능의 온과 오프 버튼이 배치되고, 만약 사용자가 해당 검색 추천 기능을 온하면, 단말기는 주기적으로 현재 재생되는 영상 화면 중의 주체를 검출하고, 사용자가 검색 추천 기능을 온하지 않으면, 현재 재생되는 영상 화면 중의 주체를 검출하지 않는다. 사용자는 영상을 재생하는 과정에, 수요에 따라 수시로 검색 추천 기능을 온하거나 오프할 수 있다. 예를 들어, 사용자가 알지 못하는 연기자를 보았을 때 검색 추천 기능을 온시키고, 해당 연기자의 관련 정보를 획득 후 검색 추천 기능을 오프한다.
영상 화면 중의 주체는 인물, 예를 들어 드라마 중의 어느 인물, 경기중의 어느 선수일 수 있고; 해당 주체는 물체, 예를 들면 자동차, 가전제품, 건축물 등 일 수도 있으며; 해당 주체는 풍경 명소일 수도 있다. 선택 가능하게, 서로 다른 검출 대상 사이에는 우선급 순위가 있을 수 있고, 영상 화면 중에 인물, 물체와 풍경이 있을 때, 단말기가 영상 화면 중의 주체를 검출 시, 우선급이 가장 높은 검출 대상을 후보 대상으로 선택하고, 후보 대상으로부터 주체를 확정한다. 일반적인 경우에, 사람의 우선급은 가장 높고, 그 다음으로 물체, 마지막으로 풍경이며, 영상 화면 중에 인물, 물체와 풍경이 동시에 존재할 때, 단말기는 후보 대상으로서 인물을 선택하고, 영상 중에 복수의 인물이 있을 가능성이 있으며, 복수의 인물로부터 하나 또는 복수개를 선택하여 주체로 해야 한다. 물론, 영상 화면 중의 주체를 인물로 설정할 수도 있으며, 이때, 검출 대상은 인물일 수 밖에 없다.
예시적으로, 단말기는 영상 화면 중의 검출 대상의 윤곽을 검출하고, 영상 화면 중의 검출 대상의 윤곽에 따라 주체를 확정한다. 우선 검출 대상의 윤곽에 따라 영상 화면 중의 인물을 검출할 수 있고, 복수의 인물이 검출될 때, 검출 대상의 윤곽에 따라 어느 인물의 얼굴이 정면, 측면, 배면인지 확정한다. 만약 인물의 얼굴이 정면이면, 측면과 배면인 인물을 배제하고, 만약 얼굴이 정면인 인물이 하나만 있으면 얼굴이 정면인 인물을 영상 화면의 주체로 확정하고, 만약 복수의 인물의 얼굴이 정면이면 해당 복수의 얼굴이 정면인 인물을 주체로 할 수 있고, 화면에 있는 인물들에서 하나를 선택하여 주체로 하거나, 또는 윤관 면적이 가장 큰 인물을 주체로 할 수도 있다.
단계(S102), 단말기가 영상 화면 중에서 주체 이미지를 캡쳐한다.
단말기는 해당 주체의 하나 또는 복수의 이미지를 캡쳐할 수 있고, 단말기는 영상 화면 전체에 대하여 캡쳐하고 다시 캡쳐한 이미지에 대하여 부분 절단하여 주체 이미지를 획득할 수 있으며, 해당 주체가 인물일 때, 캡쳐한 해당 주체 이미지는 반드시 인물의 얼굴이 포함되어야 한다. 단말기는 주체 이미지만을 캡쳐할 수도 있으며, 영상 화면 전체를 캡쳐할 필요는 없다.
단계(S103), 단말기가 주체 이미지에 따라 주체 관련 정보를 획득한다.
일 방식에서, 단말기는 주체 이미지를 서버에 발송하여, 서버가 주체 이미지에 따라 주체를 식별하도록 하고, 단말기는 서버에서 발송한 주체 관련 정보를 수신한다.
해당 방식에서, 서버는 주체 이미지를 수신한 후, 주체 이미지의 특징 파라미터를 획득하고, 해당 특징 파라미터는 칼라 특징, 형태 특징, 무늬 특징 중 임의의 하나의 파라미터 또는 그 조합을 포함할 수 있다. 서버는 수평 수직 투영, 엣지 검출 결과, 형태 분석 및 칼라 분석 중 적어도 일 방법을 통해 주체 이미지의 특징 파라미터를 획득할 수 있다.
서버는 주체 이미지의 특징 파라미터와 로컬에 저장한 또는 데이터베이스에 저장한 대량의 템플릿 이미지의 특징 파라미터를 매칭시키며, 템플릿 이미지 중의 주체는 이미 알고 있는 것이고, 만약 주체 이미지와 어느 이미지의 특징 파라미터의 매칭이 성공하면, 해당 주체를 식별해 낼 수 있다. 예를 들어, 서버의 로컬 또는 데이터베이스에 대량의 스타 이미지의 특징 파라미터가 저장되어 있으면, 매칭을 통해 주체가 어느 스타인지 식별해 낼 수 있다. 서버는 해당 주체 관련 정보를 추가적으로 검색하고, 해당 주체 관련 정보는 주체의 간략 소개(예를 들어, 바이두 백과 내용)일 수 있고, 주체의 최신 소식일 수도 있으며, 주체의 기타 관련 영상일 수도 있다.
선택 가능하게, 서버는 주체를 식별해 낸 후, 단말기에 주체의 식별 결과를 발송하고, 주체의 식별 결과에는 주체의 명칭이 포함될 수 있고, 주체의 일부 간략 설명이 포함될 수도 있으며, 예를 들어, 주체가 인물일 때, 식별 결과에는 인물의 이름이 포함될 수 있고, 성별, 직업 및 연령이 더 포함될 수 있다.
단말기는 서버에서 발송한 주체의 식별 결과를 수신하고, 식별 결과에 따라 주체가 검출되었었는지 판단한다. 단말기는 매번 주체를 식별한 후, 새로운 주체의 식별 결과를 저장하고, 그 후에 주체의 식별 결과가 수신될 때, 단말기는 해당 주체의 식별 결과가 저장되어 있는지 판단하며, 해당 주체의 식별 결과가 저장되어 있으면, 해당 주체가 이미 검출되었음을 설명하며, 만약 해당 주체의 식별 결과가 저장되어 있지 않으면, 해당 주체가 검출되지 않았음을 설명한다.
만약 주체가 검출되지 않았었으면, 단말기는 서버로 데이터 요청을 발송하고, 해당 데이터 요청은 주체 관련 정보를 획득하기 위한 것이며, 해당 데이터 요청에는 주체의 키워드가 포함될 수 있고, 해당 키워드는 인물의 이름, 성별 및 직업, 물체의 명칭, 속성 등일 수 있다. 서버는 주체의 키워드에 따라 주체 관련 내용을 검색하고, 단말기에 발송한다. 만약 해당 주체가 검출되었었으면, 이번 검색 추천 프로세스는 종료된다.
다른 일 방식에서, 단말기는 주체 이미지에 따라, 주체를 식별하여 식별 결과를 획득하고, 식별 결과에 따라 주체가 검출되었었는지 판단하며, 만약 주체가 검출되지 않았으면, 단말기는 서버에 데이터 요청을 발송하고, 데이터 요청은 주체 관련 정보를 요청하여 획득하기 위한 것이며, 서버는 주체 관련 정보를 단말기에 발송한다. 전술한 방식과 다르게, 해당 방식은 주체가 단말기에 의해 식별되고, 단말기가 사용하는 식별 방식은 서버가 사용하는 식별 방식과 동일할 수 있다.
본 실시예에서, 단말기는 식별 결과에 따라 주체가 검출되었었는지 판단하고, 사용자에게 동일한 주체 관련 내용을 중복적으로 추천하는 것을 피하고, 사용자 체험을 향상시키며, 중복으로 서버에 동일한 내용을 요청함으로써 나타나는 리소스의 낭비를 피한다.
단계(S104), 단말기가 주체 관련 정보와 영상 화면을 동일 스크린에 디스플레이한다.
단말기는 사전에 설계된 템플릿 양식에 따라, 주체 관련 내용과 영상 화면을 동일한 스크린에 디스플레이한다. 일 방식에서, 단말기는 주체 관련 내용을 영상 내용의 기설정 위치에 겹치게 디스플레이하며, 주체 관련 내용의 디스플레이 창은 영상의 디스플레이 창의 절반 미만이다.
해당 기설정 위치는 영상의 디스플레이 창의 우측 상단, 우측 하단, 좌측 상단 또는 좌측 하단일 수 있으며, 이로써 주체 관련 내용의 디스플레이 창이 영상을 가리워, 사용자의 영상 관람에 영향 주는 것을 피하도록 한다. 또한, 영상을 가리워 사용자의 영상 관람에 영향 주는 것을 피하도록, 주체 관련 내용의 디스플레이 창은 너무 크지 말아야 한다. 도 3은 영상과 주체 관련 정보의 일 디스플레이 도면이며, 도 3에 도시된 바와 같이, 주체 관련 정보의 디스플레이 창은 영상의 디스플레이 창 내의 위측 상단에 위치한다.
선택 가능하게, 주체 관련 내용의 디스플레이 창의 크기는 조정 가능하고, 위치도 이동 가능하며, 사용자는 자신의 수요에 따라 주체 관련 내용의 디스플레이 창을 이동하고, 디스플레이 창의 크기를 조절할 수 있다. 주체 관련 내용의 디스플레이 창의 형태는 직사각형, 원형, 다각형일 수 있고, 흥미를 더하기 위하여 동물 윤곽 형태일 수도 있으며, 본 실시예에서는 이에 대하여 한정하지 않는다. 주체 관련 내용의 디스플레이 창은 반 투명 방식으로 디스플레이될 수도 있다.
다른 일 방식에서, 단말기는 주체 내용을 영상의 디스플레이 창 밖의 기설정 영역에 디스플레이한다. 도 4는 영상과 주체 관련 정보의 또 일 디스플레이 도면이고, 도 4에 도시된 바와 같이, 주체 관련 정보의 디스플레이 창은 영상의 디스플레이 창 밖의 아래에 위치한다.
선택 가능하게, 단말기는 스크린에 제시 정보를 디스플레이하고, 해당 제시 정보는 스크린 상의 관련 정보가 주체 관련 정보임을 제시하기 위한 것이다. 주체와 관련 정보를 연관시킴으로써, 스크린에 복수의 인물 또는 물체가 있을 때 사용자가 스크린 상의 관련 정보가 어느 인물 또는 물체에 속하는지 알 수 없는 상황을 피하도록 한다. 해당 제시 정보는 문자일 수 있으며, 예를 들어, 주체의 옆에 문자로 관련 정보가 주체에 속한다는 것을 제시한다. 해당 제시 정보는 도형일 수 있고, 예를 들어, 허선 블록으로 주체를 블록킹하거나 또는, 떠있는 하나의 화살표로 주체를 가리킨다.
본 실시예에서, 단말기가 현재 재생되는 영상 화면 중의 주체를 검출하고, 영상 화면 중에서 주체 이미지를 캡쳐하고, 주체 이미지에 따라 주체 관련 정보를 획득하고, 주체 관련 정보와 영상 화면을 동일 스크린에 디스플레이한다. 단말기가 영상 화면 중의 주체를 능동적으로 검출하고, 주체 관련 정보를 획득하여 사용자에게 디스플레이하는 것을 트리거함으로써, 사용자에게 능동적으로 영상 중의 주체 관련 내용을 추천할 수 있어, 사용자의 아무런 조작을 필요로 하지 않기에, 사용자 체험을 향상시킨다.
도 5는 본 출원의 실시예 2에 따른 영상에 기반한 정보 획득 방법의 시그널링 흐름도이고, 본 실시예는 서버에서 이미지를 식별하는 것을 예로 들어 설명하며, 도 5에 도시된 바와 같이, 본 실시예에 따른 방법은 아래의 단계를 포함한다.
단계(S201), 단말기가 현재 재생되는 영상 화면 중의 주체를 검출한다.
단계(S202), 단말기가 영상 화면 중에서 주체 이미지를 캡쳐한다.
단계(S203), 단말기가 서버에 주체 이미지를 발송한다.
단계(S204), 서버는 주체 이미지에 따라 주체를 식별하고, 식별 결과를 획득한다.
단계(S205), 서버는 주체의 식별 결과를 단말기에 발송한다.
단계(S206), 단말기는 식별 결과에 따라, 주체가 검출되었었는지 판단한다.
만악 주체가 검출되지 않았으면, 단계(S207)를 수행하고, 만약 주체가 검출되었었으면, 프로세스를 종료한다.
단계(S207), 단말기가 서버에 데이터 요청을 발송하고, 해당 데이터 요청은 주체 관련 정보를 획득하도록 요청하기 위한 것이다.
단계(S208), 서버는 데이터 요청에 따라, 주체 관련 정보를 검색한다.
단계(S209), 서버는 주체 관련 정보를 단말기에 발송한다.
단계(S210), 단말기는 주체 관련 정보와 영상 화면을 동일 스크린에 디스플레이한다.
본 실시예의 구체적인 구현 방식은 실시예 1의 관련 설명을 참조하고, 여기에서는 중복 설명을 하지 않는다.
도 6은 본 출원의 실시예 3에 따른 영상에 기반한 정보 획득 장치의 구조도이며, 해당 장치는 단말기에 통합될 수 있으며, 도 6에 도시된 바와 같이, 해당 장치는,
단말기에서 현재 재생되는 영상 화면 중의 주체를 검출하기 위한 검출 모듈(21);
상기 영상 화면 중에서 상기 주체의 이미지를 캡쳐하기 위한 캡쳐 모듈(22);
상기 주체의 이미지에 따라 상기 주체 관련 정보를 획득하기 위한 획득 모듈(23);
상기 주체 관련 정보와 상기 영상 화면을 동일 스크린에 디스플레이하기 위한 디스플레이 모듈(24)을 포함한다.
하나의 예시적인 방식에서, 상기 획득 모듈(23)은 구체적으로,
상기 주체의 이미지를 서버에 발송하여, 상기 서버가 상기 주체의 이미지에 따라 상기 주체를 식별하도록 하고;
상기 서버가 발송한 상기 주체 관련 정보를 수신한다.
하나의 예시적인 방식에서, 상기 획득 모듈(23)은 상기 서버가 발송한 상기 주체 관련 정보를 수신하기 전에, 또한,
상기 서버에서 발송한 상기 주체의 식별 결과를 수신하고;
상기 식별 결과에 따라 상기 주체가 검출되었었는지 판단하고;
만약 상기 주체가 검출되지 않았으면, 상기 서버에 데이터 요청을 발송하고, 상기 데이터 요청은 상기 주체 관련 정보를 요청하여 획득하기 위한 것이다.
또 하나의 예시적인 방식에서, 상기 획득 모듈(23)은 구체적으로,
상기 주체의 이미지에 따라, 상기 주체를 식별하여 식별 결과를 획득하고;
상기 식별 결과에 따라, 상기 주체가 검출되었었는지 판단하고;
만약 상기 주체가 검출되지 않았으면, 서버에 데이터 요청을 발송하고, 상기 데이터 요청은 상기 주체 관련 정보를 요청하여 획득하기 위한 것이며;
상기 서버에서 발송한 상기 주체 관련 정보를 수신한다.
하나의 예시적인 방식에서, 상기 디스플레이 모듈(24)은 또한, 스크린에 제시 정보를 디스플레이하고, 상기 제시 정보는 스크린 상의 관련 정보가 상기 주체 관련 정보임을 제시하기 위한 것이다.
하나의 예시적인 방식에서, 상기 디스플레이 모듈(24)은 구체적으로,
상기 주체 관련 내용을 상기 영상 내용의 기설정 위치에 겹치게 디스플레이하고, 상기 주체 관련 내용의 디스플레이 창은 상기 영상의 디스플레이 창의 절반 미만이다.
또 하나의 예시적인 방식에서, 상기 디스플레이 모듈(24)은 구체적으로,
상기 주체의 내용을 상기 영상의 디스플레이 창 밖의 기설정 영역에 디스플레이 한다.
하나의 예시적인 방식에서, 상기 검출 모듈(21)은 구체적으로,
상기 영상 화면 중의 검출 대상의 윤곽을 검출하고;
상기 영상 화면 중의 검출 대상의 윤곽에 따라, 상기 주체를 확정한다.
본 실시예에 따른 장치는 실시예 1과 실시예 2 중의 단말기에 의해 수행되는 방법을 수행할 수 있으며, 구체적인 구현 방식과 기술효과는 유사하며, 여기에서는 더 이상 설명하지 않는다.
도 7은 본 출원의 실시예 4에 따른 단말기의 구조도이며, 도 7에 도시된 바와 같이, 본 실시예에 따른 단말기는 프로세서(31), 메모리(32) 및 송수신기(33)를 포함하고, 상기 메모리(32)는 명령을 저장하고, 상기 송수신기(33)는 기타 기기와 통신하며, 상기 프로세서(31)는 상기 메모리(32)에 저장된 명령을 실행하여 상기 단말기가 실시예 1 또는 실시예 2에 따른 방법을 수행하도록 하며, 여기에서는 더 이상 설명하지 않는다.
이 중, 해당 프로세서(31)는 마이크로 컨트롤 유닛(Microcontroller Unit, MCU)일 수 있고, MCU는 싱글칩 마이크로 컴퓨터(Single Chip Microcomputer) 또는 싱글칩 머신이라고 불리우며, 해당 프로세서(31)는 중앙 처리 유닛(Central Process Unit, CPU), 디지털 신호 프로세서(digital signal processor, DSP), 전용 집적 회로(application specific integrated circuit, ASIC), 현장 프로그램 가능 게이트 어레이(field programmable gate array, FPGA) 또는 기타 프로그램 가능 로직 소자, 이산 게이트 또는 트랜지스터 로직 소자일 수도 있다.
메모리(32)는 랜덤 액세스 메모리(random access memory, RAM), 플레시 메모리, 판독 전용 메모리(read-only memory, ROM), 프로그램 가능 판독 전용 메모리 또는 전기적으로 소거 가능한 프로그램 가능 메모리, 레지스터 등 본 분야에서 성숙된 저장 매체일 수 있다.
본 출원의 실시예 5에서는 컴퓨터 판독 가능 저장 매체를 제공하되, 상기 컴퓨터 판독 가능 저장 매체에는 명령이 저장되고, 상기 명령이 실행될 때, 컴퓨터가 실시예 1 또는 실시예 2에 따른 단말기가 수행하는 상기 방법을 수행하도록 한다.

Claims (15)

  1. 영상에 기반한 정보 획득 방법에 있어서,
    단말기가 현재 재생되는 영상 화면 중의 주체를 검출하는 단계;
    상기 단말기가 상기 영상 화면 중에서 상기 주체의 이미지를 캡쳐하는 단계;
    상기 단말기가 상기 주체의 이미지에 따라, 상기 주체를 식별하여 식별 결과를 획득하는 단계;
    상기 단말기가 상기 식별 결과에 따라, 상기 주체가 검출되었었는지 판단하는 단계;
    만약 상기 주체가 검출되지 않았으면, 상기 단말기는 서버에 데이터 요청을 발송하고, 상기 데이터 요청은 상기 주체 관련 정보를 요청하여 획득하기 위한 것인 단계;
    상기 단말기가 상기 서버에서 발송한 상기 주체 관련 정보를 수신하는 단계;
    상기 단말기가 상기 주체 관련 정보와 상기 영상 화면을 동일 스크린에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 영상에 기반한 정보 획득 방법에 있어서,
    단말기가 현재 재생되는 영상 화면 중의 주체를 검출하는 단계;
    상기 단말기가 상기 영상 화면 중에서 상기 주체의 이미지를 캡쳐하는 단계;
    상기 단말기가 서버에 상기 주체의 이미지를 발송하여, 상기 서버가 상기 주체의 이미지에 따라 상기 주체를 식별하도록 하는 단계;
    상기 단말기가 상기 서버에서 발송한 상기 주체의 식별 결과를 수신하는 단계;
    상기 단말기가 상기 식별 결과에 따라 상기 주체가 검출되었었는지 판단하는 단계;
    만약 상기 주체가 검출되지 않았으면, 상기 단말기는 상기 서버에 데이터 요청을 발송하고, 상기 데이터 요청은 상기 주체 관련 정보를 요청하여 획득하기 위한 것인 단계;
    상기 단말기가 상기 서버에서 발송한 상기 주체 관련 정보를 수신하는 단계;
    상기 단말기가 상기 주체 관련 정보와 상기 영상 화면을 동일 스크린에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 삭제
  4. 삭제
  5. 제1항 또는 제2항에 있어서,
    상기 단말기가 스크린에 제시 정보를 디스플레이하고, 상기 제시 정보는 스크린 상의 관련 정보가 상기 주체 관련 정보임을 제시하기 위한 것인 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서, 상기 단말기가 상기 주체 관련 정보와 상기 영상 화면을 동일 스크린에 디스플레이하는 단계는,
    상기 단말기가 상기 주체 관련 정보를 상기 영상 화면의 기설정 위치에 겹치게 디스플레이하고, 상기 주체 관련 정보의 디스플레이 창은 상기 영상 화면의 디스플레이 창의 절반 미만인 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제5항에 있어서, 상기 단말기가 상기 주체 관련 정보와 상기 영상 화면을 동일 스크린에 디스플레이하는 단계는,
    상기 단말기가 상기 주체 관련 정보를 상기 영상 화면의 디스플레이 창 외의 기설정 영역에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서, 상기 단말기가 현재 재생되는 영상 화면 중의 주체를 검출하는 단계는,
    상기 단말기가 상기 영상 화면 중의 검출 대상의 윤곽을 검출하는 단계;
    상기 단말기가 상기 영상 화면 중의 검출 대상의 윤곽에 따라 상기 주체를 확정하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서, 상기 단말기가 현재 재생되는 영상 화면 중의 주체를 검출하는 단계 전에,
    상기 단말기가 사용자 인터페이스에 추천 기능 버튼을 디스플레이하는 단계;
    상기 단말기는 상기 추천 기능 버튼에 대한 사용자의 제1 조작을 수신하는 단계;
    상기 단말기가 상기 제1 조작에 따라 추천 기능를 온하는 단계를 더 포함하고;
    상기 단말기가 현재 재생되는 영상 화면 중의 주체를 검출하는 단계는,
    상기 단말기가 상기 추천 기능이 온된 경우, 현재 재생되는 영상 화면 중의 주체를 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서, 상기 단말기가 상기 주체 관련 정보와 상기 영상 화면을 동일 스크린에 디스플레이하는 단계 후에,
    상기 단말기가 상기 추천 기능 버튼에 대한 사용자의 제2 조작을 수신하는 단계;
    상기 단말기가 상기 제2 조작에 따라 상기 추천 기능을 오프하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  11. 제9항에 있어서, 상기 단말기가 현재 재생되는 영상 화면 중의 주체를 검출하는 단계는,
    상기 단말기는 기설정된 검출 대상의 우선급의 내림순의 순서에 따라, 상기 영상 화면 중의 물체를 검출하는 단계;
    현재 우선급에 대응하는 검출 대상에 따라, 상기 영상 화면의 물체에서 상기 현재 우선급에 대응하는 검출 대상이 검출될 때, 검출된 검출 대상 중에서 상기 주체를 확정하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 단말기에 있어서, 프로세서, 메모리와 송수신기를 포함하고, 상기 메모리는 명령을 저장하고, 상기 송수신기는 기타 기기와 통신하고, 상기 프로세서는 상기 메모리에 저장된 명령을 실행하여, 상기 단말기가 제1항 또는 제2항 중 임의의 한 항에 따른 방법을 수행하도록 하는 것을 특징으로 하는 단말기.
  13. 컴퓨터 판독 가능 저장 매체에 있어서, 명령이 저장되고, 상기 명령이 실행될 때, 컴퓨터가 제1항 또는 제2항에 따른 방법을 수행하도록 하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
  14. 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램에 있어서, 프로그램 코드를 포함하고, 컴퓨터가 상기 컴퓨터 프로그램을 실행할 때, 상기 프로그램 코드가 제1항 또는 제2항 중 임의의 한 항에 따른 방법을 실행하는 것을 특징으로 하는 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램.
  15. 단말기에서 현재 재생되는 영상 화면 중의 주체를 검출하는 검출 모듈;
    상기 영상 화면 중에서 상기 주체의 이미지를 캡쳐하는 캡쳐 모듈;
    상기 주체의 이미지에 따라 상기 주체 관련 정보를 획득하는 획득 모듈;
    상기 주체 관련 정보와 상기 영상 화면을 동일 스크린에 디스플레이하는 디스플레이 모듈을 포함하되,
    상기 획득 모듈은,
    상기 주체의 이미지에 따라, 상기 주체를 식별하여 식별 결과를 획득하고, 상기 식별 결과에 따라, 상기 주체가 검출되었었는지 판단하고, 만약 상기 주체가 검출되지 않았으면, 서버에 데이터 요청을 발송하고, 상기 데이터 요청은 상기 주체 관련 정보를 요청하여 획득하기 위한 것이고, 상기 서버에서 발송한 상기 주체 관련 정보를 수신하하거나, 또는
    서버에 상기 주체의 이미지를 발송하여, 상기 서버가 상기 주체의 이미지에 따라 상기 주체를 식별하도록 하고, 상기 서버에서 발송한 상기 주체의 식별 결과를 수신하고, 상기 식별 결과에 따라 상기 주체가 검출되었었는지 판단하고, 만약 상기 주체가 검출되지 않았으면, 상기 서버에 데이터 요청을 발송하고, 상기 데이터 요청은 상기 주체 관련 정보를 요청하여 획득하기 위한 것이고, 상기 서버에서 발송한 상기 주체 관련 정보를 수신하는 것을 특징으로 하는 영상에 기반한 정보 획득 장치.
KR1020207024019A 2018-10-18 2019-09-30 영상에 기반한 정보 획득 방법 및 장치 KR102370699B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811215133.5A CN109525877B (zh) 2018-10-18 2018-10-18 基于视频的信息获取方法和装置
CN201811215133.5 2018-10-18
PCT/CN2019/109446 WO2020078215A1 (zh) 2018-10-18 2019-09-30 基于视频的信息获取方法和装置

Publications (2)

Publication Number Publication Date
KR20200110407A KR20200110407A (ko) 2020-09-23
KR102370699B1 true KR102370699B1 (ko) 2022-03-04

Family

ID=65772515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207024019A KR102370699B1 (ko) 2018-10-18 2019-09-30 영상에 기반한 정보 획득 방법 및 장치

Country Status (6)

Country Link
US (1) US20200404378A1 (ko)
EP (1) EP3869810A4 (ko)
JP (1) JP7231638B2 (ko)
KR (1) KR102370699B1 (ko)
CN (1) CN109525877B (ko)
WO (1) WO2020078215A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109525877B (zh) * 2018-10-18 2021-04-20 百度在线网络技术（北京）有限公司 基于视频的信息获取方法和装置
CN111836093B (zh) * 2019-04-16 2022-05-31 百度在线网络技术（北京）有限公司 视频播放方法、装置、设备和介质
CN110582014A (zh) * 2019-10-17 2019-12-17 深圳创维－Rgb电子有限公司 电视机及其电视控制方法、控制装置和可读存储介质
CN112601116A (zh) * 2020-12-11 2021-04-02 海信视像科技股份有限公司 一种显示设备及内容显示方法
CN113434729B (zh) * 2021-08-04 2024-01-30 深圳墨世科技有限公司 视频相关信息聚合获取方法、装置和终端设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
CN108471551A (zh) * 2018-03-23 2018-08-31 上海哔哩哔哩科技有限公司 基于主体识别的视频主体信息显示方法、装置、系统和介质

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR900004954B1 (ko) * 1986-12-10 1990-07-12 삼성전자 주식회사 실시간 영상경계 검출회로
US7467131B1 (en) * 2003-09-30 2008-12-16 Google Inc. Method and system for query data caching and optimization in a search engine system
JP2006185320A (ja) * 2004-12-28 2006-07-13 Ricoh Co Ltd 画像検索装置
JP2006209657A (ja) * 2005-01-31 2006-08-10 Bandai Co Ltd オーサリング装置、オーサリング方法およびコンピュータプログラム
US8861898B2 (en) * 2007-03-16 2014-10-14 Sony Corporation Content image search
JP2009232250A (ja) * 2008-03-24 2009-10-08 Panasonic Corp 番組情報表示装置および番組情報表示方法
US8239896B2 (en) * 2008-05-28 2012-08-07 Sony Computer Entertainment America Inc. Integration of control data into digital broadcast content for access to ancillary information
JP2010152744A (ja) * 2008-12-25 2010-07-08 Toshiba Corp 再生装置
US8839306B2 (en) * 2009-11-20 2014-09-16 At&T Intellectual Property I, Lp Method and apparatus for presenting media programs
US9015139B2 (en) * 2010-05-14 2015-04-21 Rovi Guides, Inc. Systems and methods for performing a search based on a media content snapshot image
KR101708646B1 (ko) * 2010-05-26 2017-03-08 엘지전자 주식회사 영상표시기기, 그 시스템 및 그 영상표시기기에 표시된 오브젝트 검색방법
US8818025B2 (en) * 2010-08-23 2014-08-26 Nokia Corporation Method and apparatus for recognizing objects in media content
JP5594672B2 (ja) * 2011-04-14 2014-09-24 株式会社 日立産業制御ソリューションズ 物体認識装置および物体認識方法
JP5834541B2 (ja) * 2011-06-29 2015-12-24 三菱電機株式会社 デジタル放送受信装置及びデジタル放送受信方法
US20130036442A1 (en) * 2011-08-05 2013-02-07 Qualcomm Incorporated System and method for visual selection of elements in video content
CN103729614A (zh) * 2012-10-16 2014-04-16 上海唐里信息技术有限公司 基于视频图像的人物识别方法及人物识别装置
US9409081B2 (en) * 2012-11-16 2016-08-09 Rovi Guides, Inc. Methods and systems for visually distinguishing objects appearing in a media asset
US9247309B2 (en) * 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
CN103297810A (zh) * 2013-05-23 2013-09-11 深圳市爱渡飞科技有限公司 一种电视画面关联信息的显示方法、装置及系统
CN104301755B (zh) * 2013-07-19 2017-11-03 联想(北京)有限公司 一种电视信息获取方法、电视、后台服务器及系统
CN104066009B (zh) * 2013-10-31 2015-10-14 腾讯科技（深圳）有限公司 节目识别方法、装置、终端、服务器及系统
CN104184923B (zh) * 2014-08-27 2018-01-09 天津三星电子有限公司 用于视频中检索人物信息的系统和方法
KR102365393B1 (ko) * 2014-12-11 2022-02-21 엘지전자 주식회사 이동단말기 및 그 제어방법
JP2016119508A (ja) * 2014-12-18 2016-06-30 株式会社東芝 方法、システム及びプログラム
EP3065067A1 (en) * 2015-03-06 2016-09-07 Captoria Ltd Anonymous live image search
CN106162355A (zh) * 2015-04-10 2016-11-23 北京云创视界科技有限公司 视频交互方法及终端
US10440435B1 (en) * 2015-09-18 2019-10-08 Amazon Technologies, Inc. Performing searches while viewing video content
JP6783618B2 (ja) * 2016-10-18 2020-11-11 株式会社日立システムズ 情報表示装置、及びその処理制御方法
CN106686404B (zh) * 2016-12-16 2021-02-02 中兴通讯股份有限公司 一种视频分析平台、匹配方法、精准投放广告方法及系统
US10477277B2 (en) * 2017-01-06 2019-11-12 Google Llc Electronic programming guide with expanding cells for video preview
CN107315844A (zh) * 2017-08-17 2017-11-03 广州视源电子科技股份有限公司 一种基于图片的检索方法、装置、设备及存储介质
CN108171207A (zh) * 2018-01-17 2018-06-15 百度在线网络技术（北京）有限公司 基于视频序列的人脸识别方法和装置
CN108491419A (zh) * 2018-02-06 2018-09-04 北京奇虎科技有限公司 一种基于视频实现推荐的方法和装置
CN108399349B (zh) * 2018-03-22 2020-11-10 腾讯科技（深圳）有限公司 图像识别方法及装置
CN109525877B (zh) * 2018-10-18 2021-04-20 百度在线网络技术（北京）有限公司 基于视频的信息获取方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
CN108471551A (zh) * 2018-03-23 2018-08-31 上海哔哩哔哩科技有限公司 基于主体识别的视频主体信息显示方法、装置、系统和介质

Also Published As

Publication number Publication date
EP3869810A4 (en) 2022-06-29
CN109525877A (zh) 2019-03-26
JP2021516501A (ja) 2021-07-01
CN109525877B (zh) 2021-04-20
EP3869810A1 (en) 2021-08-25
US20200404378A1 (en) 2020-12-24
JP7231638B2 (ja) 2023-03-01
WO2020078215A1 (zh) 2020-04-23
KR20200110407A (ko) 2020-09-23

Similar Documents

Publication Publication Date Title
KR102370699B1 (ko) 영상에 기반한 정보 획득 방법 및 장치
US9621950B2 (en) TV program identification method, apparatus, terminal, server and system
US9788065B2 (en) Methods and devices for providing a video
TWI744368B (zh) 播放處理方法、裝置和設備
CN111897507B (zh) 投屏方法、装置、第二终端和存储介质
CN108712665B (zh) 一种直播列表的生成方法、装置、服务器及存储介质
CN107194817B (zh) 用户社交信息的展示方法、装置和计算机设备
KR101846756B1 (ko) Ｔｖ 프로그램 식별 방법, 장치, 단말기, 서버, 및 시스템
CN106303726B (zh) 一种视频标签的添加方法及装置
CN110677682B (zh) 直播检测与数据处理方法、设备、系统及存储介质
US10175863B2 (en) Video content providing scheme
KR20140021408A (ko) 휴대용 단말 장치 및 그 동작 방법
US10701301B2 (en) Video playing method and device
CN114450969B (zh) 视频截屏方法、终端及计算机可读存储介质
CN112672208B (zh) 视频播放方法、装置、电子设备、服务器及系统
US10956763B2 (en) Information terminal device
WO2019119643A1 (zh) 移动直播的互动终端、方法及计算机可读存储介质
US20170171462A1 (en) Image Collection Method, Information Push Method and Electronic Device, and Mobile Phone
CN113537127A (zh) 影片匹配方法、装置、设备及存储介质
CN112752110A (zh) 视频呈现方法及装置、计算设备、存储介质
US20180160174A1 (en) Method and device for processing multimedia
US11843829B1 (en) Systems and methods for recommending content items based on an identified posture
CN114915823B (zh) 视频播放控制方法、装置、存储介质和电子设备
CN111614991B (zh) 视频进度确定方法、装置、电子设备及存储介质
CN114915826A (zh) 信息展示方法、装置、计算机设备及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant