JP7231638B2 - 映像に基づく情報取得方法及び装置 - Google Patents

映像に基づく情報取得方法及び装置 Download PDF

Info

Publication number
JP7231638B2
JP7231638B2 JP2020547082A JP2020547082A JP7231638B2 JP 7231638 B2 JP7231638 B2 JP 7231638B2 JP 2020547082 A JP2020547082 A JP 2020547082A JP 2020547082 A JP2020547082 A JP 2020547082A JP 7231638 B2 JP7231638 B2 JP 7231638B2
Authority
JP
Japan
Prior art keywords
subject
terminal device
image
video
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020547082A
Other languages
English (en)
Other versions
JP2021516501A (ja
Inventor
クン ワン
ウェイシャン ドン
チュンヤン マ
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
Publication of JP2021516501A publication Critical patent/JP2021516501A/ja
Application granted granted Critical
Publication of JP7231638B2 publication Critical patent/JP7231638B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本願は、映像技術の分野に関し、特に映像に基づく情報取得方法及び装置に関する。
スマートフォン、タブレットＰＣ、スマートテレビ、スマートホーム等のスマート端末の普及に伴い、スマート端末を用いる映像視聴は、人々が日常生活で娯楽活動を行い、情報を取得するための主な手段となっている。現在、スマート端末で映像を再生させる過程で、ユーザは映像画面内のコンテンツに基づいてインタラクションすることができない。
映像の再生過程でユーザが映像内の特定の人物、物体、又はシーンなどに興味がある場合、ユーザは実行中の映像再生を中断して検索エンジン等によってこれを調べるか、他の機器を利用して調べるしかないため、ユーザの操作は手間がかかる。また、ユーザが何を調べればよいのかわからない場合がある。例えば、ユーザは、映像内の特定の人物に興味を持っているが、この人物が誰であるのか知らないから、検索エンジンに正確なキーワードを入力して検索を行うことができない。
本願によれば、映像に基づく情報取得方法及び装置が提供される。ユーザがトリガーしなくても、能動的にユーザに映像内の主体に関連するコンテンツを推薦できるので、ユーザ体験が向上する。
本願の第１態様では、映像に基づく情報取得方法が提供される。当該方法は、
端末機器が再生中の映像画面から主体を検出することと、
前記端末機器が前記映像画面から前記主体の画像をスクリーンショットすることと、
前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することと、
前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することとを含む。
端末機器は能動的に映像画面から主体を検出し、主体に関連する情報を取得するようにトリガーしてユーザに表示することによって、能動的にユーザに映像内の主体に関連するコンテンツを推薦できるので、ユーザは何も操作する必要がなく、ユーザ体験が向上する。
一つの例示的な形態において、前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することは、
サーバが前記主体の画像に基づいて前記主体を認識するように、前記端末機器が前記主体の画像を前記サーバに送信することと、
前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信することとを含む。
一つの例示的な形態において、前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信する前に、さらに、
前記端末機器が前記サーバによって送信される前記主体の認識結果を受信することと、
前記端末機器が前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断することと、
前記主体が検出されたことがない場合、前記端末機器が、前記主体に関連する情報の取得を要求するデータ要求を前記サーバに送信することとを含む。
端末機器はサーバによって送信される認識結果に基づいて、主体が検出されたことがあるかどうかを判断し、主体が検出されたことがある場合、検索推薦プロセスを終了する。これによってユーザに同一の主体に関連するコンテンツを繰り返し推薦することが避けられ、ユーザ体験が向上するとともに、サーバに同じコンテンツを繰り返し要求することでリソースが無駄になることも避けられる。
別の例示的な形態において、前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することは、
前記端末機器が前記主体の画像に基づいて、前記主体を認識して認識結果を得ることと、
前記端末機器が前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断することと、
前記主体が検出されたことがない場合、前記端末機器が、前記主体に関連する情報の取得を要求するデータ要求をサーバに送信することと、
前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信することとを含む。
端末機器によって主体を認識し、認識結果に基づいて主体が検出されたことがあるかどうかを判断し、主体が検出されたことがある場合、検索推薦プロセスを終了する。これによってユーザに同一の主体に関連するコンテンツを繰り返し推薦することが避けられ、ユーザ体験が向上するとともに、サーバに同じコンテンツを繰り返し要求することでリソースが無駄になることも避けられる。
一つの例示的な形態において、さらに、
前記端末機器が、スクリーン上の関連情報が前記主体に関連する情報であることを指示する指示情報をスクリーンに表示することを含む。
一つの例示的な形態において、前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することは、
前記端末機器が、前記主体に関連するコンテンツを、前記映像の表示ウィンドウの半分より小さい表示ウィンドウで、前記映像コンテンツの所定の位置に重畳して表示することを含む。
主体に関連するコンテンツを映像コンテンツの上に重畳して表示することによって、主体に関連するコンテンツと映像コンテンツを効果的に融合させて、ユーザにより優れた体験を提供することができる。
別の例示的な形態において、前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することは、
前記端末機器が前記主体のコンテンツを前記映像の表示ウィンドウ以外の所定の領域に表示することを含む。
一つの例示的な形態において、前記端末機器が再生中の映像画面から主体を検出することは、
前記端末機器が前記映像画面における検出対象の輪郭を検出することと、
前記端末機器が前記映像画面における検出対象の輪郭に基づいて、前記主体を決定することとを含む。
本願の第２態様では、映像に基づく情報取得装置が提供される。当該装置は、
端末機器で再生中の映像画面から主体を検出するように構成される検出モジュールと、
前記映像画面から前記主体の画像をスクリーンショットするように構成されるスクリーンショットモジュールと、
前記主体の画像に基づいて、前記主体に関連する情報を取得するように構成される取得モジュールと、
同一の画面で、前記主体に関連する情報と前記映像画面を表示するように構成される表示モジュールとを含む。
一つの例示的な形態において、前記取得モジュールは、具体的に、
サーバが前記主体の画像に基づいて前記主体を認識するように、前記主体の画像を前記サーバに送信し、
前記サーバによって送信される前記主体に関連する情報を受信するように構成される。
一つの例示的な形態において、前記取得モジュールは、前記サーバによって送信される前記主体に関連する情報を受信する前に、さらに、
前記サーバによって送信される前記主体の認識結果を受信し、
前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断し、
前記主体が検出されたことがない場合、前記主体に関連する情報の取得を要求するデータ要求を前記サーバに送信するように構成される。
別の例示的な形態において、前記取得モジュールは、具体的に、
前記主体の画像に基づいて、前記主体を認識して認識結果を得、
前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断し、
前記主体が検出されたことがない場合、前記主体に関連する情報の取得を要求するデータ要求をサーバに送信し、
前記サーバによって送信される前記主体に関連する情報を受信するように構成される。
一つの例示的な形態において、前記表示モジュールは、さらに、スクリーン上の関連情報が前記主体に関連する情報であることを指示する指示情報をスクリーンに表示するように構成される。
一つの例示的な形態において、前記表示モジュールは、具体的に、
前記主体に関連するコンテンツを、前記映像の表示ウィンドウの半分より小さい表示ウィンドウで、前記映像コンテンツの所定の位置に重畳して表示するように構成される。
別の例示的な形態において、前記表示モジュールは、具体的に、
前記主体のコンテンツを前記映像の表示ウィンドウ以外の所定の領域に表示するように構成される。
一つの例示的な形態において、前記検出モジュールは、具体的に、
前記映像画面における検出対象の輪郭を検出し、
前記映像画面における検出対象の輪郭に基づいて、前記主体を決定するように構成される。
本願の第３態様では端末機器が提供される。当該端末機器は、プロセッサと、メモリと、送受信機とを含み、前記メモリは命令を記憶するように構成され、前記送受信機は他の機器と通信するように構成され、前記プロセッサは、前記端末機器が本願の第１態様に記載の方法を実行するように、前記メモリに記憶されている命令を実行するように構成される。
本願の第４態様ではコンピュータ可読記憶媒体が提供される。前記コンピュータ可読記憶媒体に命令が記憶されており、前記命令が実行されるとき、コンピュータは本願の第１態様に記載の方法を実行するようにする。
本願に係る映像に基づく情報取得方法及び装置によれば、端末機器は再生中の映像画面から主体を検出し、映像画面から主体の画像をスクリーンショットし、主体の画像に基づいて主体に関連する情報を取得し、同一の画面で主体に関連する情報と映像画面を表示する。端末機器は能動的に映像画面から主体を検出し、主体に関連する情報を取得するようにトリガーしてユーザに表示することによって、能動的にユーザに映像内の主体に関連するコンテンツを推薦できるので、ユーザは何も操作する必要がなく、ユーザ体験が向上する。
本願が適用されるネットワークアーキテクチャの模式図である。 本願の実施例１に係る映像に基づく情報取得方法のフローチャートである。 映像画面と主体に関連する情報に係る一つの表示の模式図である。 映像画面と主体に関連する情報に係る別の表示の模式図である。 本願の実施例２に係る映像に基づく情報取得方法のシグナリングの流れの模式図である。 本願の実施例３に係る映像に基づく情報取得装置の構造模式図である。 本願の実施例４に係る端末機器の構造模式図である。
本願によれば、映像に基づく情報取得方法が提供される。図１は、本願が適用されるネットワークアーキテクチャの模式図である。図１に示すように、当該ネットワークアーキテクチャは少なくとも１つの端末機器１１と、少なくとも１つのサーバ１２を含む。端末機器１１は映像を再生でき、端末機器１１は搭載された映像再生装置で映像を再生してもよいし、ブラウザによって映像を再生してもよい。端末機器１１は端末（Ｔｅｒｍｉｎａｌ）、ユーザ機器（ｕｓｅｒ ｅｑｕｉｐｍｅｎｔ、略称ＵＥ）、アクセス端末、ユーザユニット、移動機器、ユーザ端末、無線通信機器、ユーザエージェント又はユーザ装置とも呼ばれる。端末機器は携帯情報端末（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ、略称ＰＤＡ）機器、スマートテレビ、無線通信機能を有するハンドヘルド機器（例えば、スマートフォン、タブレットＰＣ）、コンピューティング機器（例えば、パソコン（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ、略称ＰＣ））、車載機器、ウェアラブル機器等であってもよい。
サーバ１２は画像を認識するように構成されてよい。サーバ１２には人物、物体、風景等の大量の画像特徴があらかじめ記憶されており、後に端末機器によって送信される画像に対してあらかじめ記憶されている大量の画像特徴パラメータに基づいてマッチングすることで、当該画像から人物、物体、風景等を認識できる。サーバ１２はさらに、画像主体に関連するコンテンツを生成するように構成されてもよい。サーバ１２に人物、物体、風景等の関連するコンテンツが記憶されてよく、人物、物体、風景等の関連するコンテンツは他のサーバに記憶されていてもよい。
図２は、本願の実施例１に係る映像に基づく情報取得方法のフローチャートである。図２に示すように、本実施例の方法は、次に示すステップＳ１０１～Ｓ１０４を含む。
ステップＳ１０１において、端末機器は再生中の映像画面から主体を検出する。
端末機器は搭載された映像再生装置によって映像を再生してもよいし、ブラウザによって映像を再生してもよい。当該映像としては、ドラマ、映画又は他の番組が挙げられる。端末機器は再生中の映像画面から周期的に主体を検出してよく、例えば、５分間ごとに検出する。
任意選択で、映像再生画面に検索推薦機能のオン／オフボタンが設けられる。ユーザが当該検索推薦機能をオンにした場合、端末機器は再生中の映像画面から周期的に主体を検出する。ユーザが検索推薦機能をオンにしていない場合、再生中の映像画面から主体を検出しない。映像の再生過程で、ユーザは所望によりいつでも検索推薦機能をオン又はオフにできる。例えば、ユーザが知らない俳優を見たとき、検索推薦機能をオンにして、当該俳優に関連する情報が得られると、検索推薦機能をオフにする。
映像画面で主体は人物であってよく、例えば、ドラマに出た人物、試合に出た選手である。当該主体は物体であってもよく、例えば、自動車、家庭用電化製品、建物等であってもよい。また、当該主体は観光名所であってもよい。任意選択で、検出対象同士間で優先度が設けられてもよく、映像画面に人物、物体と風景が同時に存在する場合、端末機器は映像画面から主体を検出するとき、優先度が最も高い検出対象を候補対象として選択し、候補対象から主体を決定する。一般的には、人物の優先度が最高であり、次は物体であり、風景が最後になる。映像画面に人物、物体と風景が同時に存在する場合、端末機器は人物を候補対象として選択する。映像に複数の人物が存在する場合、複数の人物から１つ又は複数を主体として選択する。なお、映像画面における主体が人物であるように設定してもよく、これによって検出対象は人物に限定される。
例示的に、端末機器は映像画面から検出対象の輪郭を検出し、映像画面における検出対象の輪郭に基づいて主体を決定する。まず、検出対象の輪郭に基づいて映像画面から人物を認識してよく、複数の人物が認識された場合、検出対象の輪郭に基づいて、顔部が正面、側面、背面を向く人物をそれぞれ決定する。顔部が正面を向く人物がある場合、側面と背面を向く人物を除去する。顔部が正面を向く人物が１人だけである場合、顔部が正面を向く人物を映像画面の主体として決定し、顔部が正面を向く人物が複数ある場合、顔部が正面を向く当該複数の人物を主体としてもよいし、画面の中央に位置する１人の人物を選択して主体としてもよいし、又は輪郭面積が最大になる人物を主体としてもよい。
ステップＳ１０２において、端末機器は映像画面から主体の画像をスクリーンショットする。
端末機器は当該主体に対して１つの又は複数の画像をスクリーンショットしてよく、端末機器は映像画面の全体に対してスクリーンショットを行い、得られたスクリーンショットにトリミングを行って、主体の画像を得るようにしてよい。当該主体が人物である場合、スクリーンショットした当該主体の画像は人物の顔部を含まなければならない。端末機器は映像画面の全体ではなく、主体の画像だけをスクリーンショットしてもよい。
ステップＳ１０３において、端末機器は主体の画像に基づいて、主体に関連する情報を取得する。
一つの形態において、端末機器はサーバが主体の画像に基づいて当該主体を認識するように、主体の画像をサーバに送信する。端末機器はサーバによって送信される主体に関連する情報を受信する。
当該形態において、サーバは主体の画像を受信した後、主体の画像の特徴パラメータを取得する。当該特徴パラメータは、色特徴、形状特徴、テクスチャ特徴のいずれか１つのパラメータ又はこれらの組み合わせを含んでよい。サーバは、水平垂直投影、エッジ検出結果、形状解析、色解析の少なくとも１種で主体の画像の特徴パラメータを取得してよい。
サーバは主体の画像の特徴パラメータに対してローカルに保存されている又はデータベースに保存されている大量のテンプレート画像の特徴パラメータとマッチングし、テンプレート画像における主体が既知のものである。主体の画像が特定の画像の特徴パラメータにマッチングしていれば、当該主体が認識できる。例えば、サーバローカル又はデータベースに芸能人の画像に関する大量の特徴パラメータが保存されている場合、マッチングを行うことで、主体が特定の芸能人であることを認識できる。次にサーバは当該主体に関連する情報を調べる。当該主体に関連する情報は主体の簡単な紹介（例えば、百度百科（中国の検索エンジン会社、百度が運営するオンライン百科事典）に掲載された内容）であってもよいし、主体の新着ニュースであってもよいし、主体に関連する他の映像であってもよい。
任意選択で、サーバは主体を認識した後、端末機器に主体の認識結果を送信する。主体の認識結果に主体の名称が含まれ、主体の簡単な紹介が含まれてもよい。例えば、主体が人物である場合、認識結果に人物の名称が含まれ、性別、職業、年齢が含まれてもよい。
端末機器はサーバによって送信された主体の認識結果を受信し、認識結果に基づいて、主体が検出されたことがあるかどうかを判断する。端末機器は主体が認識されるたびに、新たな主体認識結果を保存する。次に主体の認識結果が受信されるとき、端末機器は当該主体の認識結果が保存されているかどうかを判断する。当該主体の認識結果が保存されている場合、当該主体は検出されたことがあることが示され、当該主体の認識結果が保存されていない場合、当該主体は検出されたことがないことが示される。
当該主体が検出されたことがない場合、端末機器は、主体に関連する情報の取得を要求するデータ要求をサーバに送信する。当該データ要求には主体のキーワードが含まれてよい。当該キーワードは人物の名称、性別と職業、物体の名称、属性等であってよい。サーバは主体のキーワードに基づいて、主体に関連するコンテンツを調べ、端末機器に送信する。当該主体が検出されたことがある場合、当該検索推薦プロセスを終了する。
別の形態において、端末機器は主体の画像に基づいて、主体を認識して認識結果を得、認識結果に基づいて、主体が検出されたことがあるかどうかを判断する。主体は検出されたことがない場合、端末機器は、主体に関連する情報の取得を要求するデータ要求をサーバに送信し、サーバは主体に関連する情報を端末機器に送信する。前の形態と異なり、当該形態では端末機器が主体を認識し、端末機器が採用する認識方法はサーバの認識方法と同じであってもよい。
本実施例によれば、端末機器が認識結果に基づいて、主体が検出されたことがあるかどうかを判断することによって、ユーザに同一の主体に関連するコンテンツを繰り返し推薦することが避けられ、ユーザ体験が向上するとともに、サーバに同じコンテンツを繰り返し要求することでリソースが無駄になることも避けられる。
ステップＳ１０４において、端末機器は同一の画面で、主体に関連する情報と映像画面を表示する。
端末機器は、あらかじめ設計されたテンプレートのスタイルで、主体に関連するコンテンツと映像画面を同一の画面で表示してよい。一つの形態において、端末機器は主体に関連するコンテンツを、映像の表示ウィンドウの半分より小さい表示ウィンドウで、映像コンテンツの所定の位置に重畳して表示する。
当該所定の位置は、主体に関連するコンテンツの表示ウィンドウが映像を遮蔽して、ユーザの映像視聴中に支障をきたさないように、映像の表示ウィンドウの右上隅、右下隅、左上隅又は左下隅であってもよい。また、映像を遮蔽して、ユーザの映像視聴中に支障をきたさないように、主体に関連するコンテンツの表示ウィンドウは、過度に大きくしないほうがいい。図３は、映像と主体に関連する情報に係る一つの表示の模式図である。図３に示すように、主体に関連する情報の表示ウィンドウは、映像の表示ウィンドウ内にその右上隅に配置される。
任意選択で、主体に関連するコンテンツの表示ウィンドウの大さは調整でき、位置は移動できる。ユーザは所望により、主体に関連するコンテンツの表示ウィンドウを移動し、表示ウィンドウの大きさを調整できる。主体に関連するコンテンツの表示ウィンドウの形状は長方形、円形、多角形であってよく、面白さを増すために、動物の輪郭の形状であってもよい。本実施例ではこれに関して限定されるものではない。主体に関連するコンテンツの表示ウィンドウは、半透明の状態で表示されてもよい。
別の形態において、端末機器は主体のコンテンツを映像の表示ウィンドウ以外の所定の領域に表示する。図４は、映像と主体に関連する情報に係る別の表示の模式図である。図４に示すように、主体に関連する情報の表示ウィンドウは、映像の表示ウィンドウ外の下方に配置される。
任意選択で、端末機器は、スクリーン上の関連情報は主体に関連する情報であることを指示する指示情報スクリーンに表示する。主体とその関連情報を関連付けることによって、スクリーンに複数の人物又は物体がある場合、ユーザはスクリーン上の関連情報がどちらの人物又は物体に対応するかを知らないような状況は避けられる。当該指示情報は文字であってよく、例えば、主体の傍らに文字を配置することで、関連情報が主体に対応することを指示する。当該指示情報は図形であってもよく、例えば、破線ボックスで主体を囲むか、又は、浮遊する矢印で主体を指し示す。
本実施例によれば、端末機器は再生中の映像画面から主体を検出し、映像画面から主体の画像をスクリーンショットし、主体の画像に基づいて主体に関連する情報を取得し、同一の画面で主体に関連する情報と映像画面を表示する。端末機器は能動的に映像画面から主体を検出し、主体に関連する情報を取得するようにトリガーしてユーザに表示することによって、能動的にユーザに映像内の主体に関連するコンテンツを推薦できるので、ユーザは何も操作する必要がなく、ユーザ体験が向上する。
図５は、本願の実施例２に係る映像に基づく情報取得方法のシグナリングの流れの模式図である。本実施例では、サーバが画像を認識するのを例にして説明する。図５に示すように、本実施例に係る方法は、次に示すステップＳ２０１～Ｓ２１０を含む。
ステップＳ２０１において、端末機器は再生中の映像画面から主体を検出する。
ステップＳ２０２において、端末機器は映像画面から主体の画像をスクリーンショットする。
ステップＳ２０３において、端末機器は主体の画像をサーバに送信する。
ステップＳ２０４において、サーバは主体の画像に基づいて主体を認識し、認識結果を得る。
ステップＳ２０５において、サーバは主体の認識結果を端末機器に送信する。
ステップＳ２０６において、端末機器は認識結果に基づいて、主体が検出されたことがあるかどうかを判断する。
主体が検出されたことがない場合、ステップＳ２０７を実行する。主体が検出されたことがある場合、プロセスを終了する。
ステップＳ２０７において、端末機器は、主体に関連する情報の取得を要求するデータ要求をサーバに送信する。
ステップＳ２０８において、サーバはデータ要求に基づいて、主体に関連する情報を調べる。
ステップＳ２０９において、サーバは主体に関連する情報を端末機器に送信する。
ステップＳ２１０において、端末機器は同一の画面で、主体に関連する情報と映像画面を表示する。
本実施例の実現形態は具体的に実施例１の関連する説明が参照されてよく、説明が重複するため省略される。
図６は、本願の実施例３に係る映像に基づく情報取得装置の構造模式図である。当該装置は端末機器に集積されてよい。図６に示すように、当該装置は検出モジュール２１～表示モジュール２４を含む。
検出モジュール２１は、端末機器で再生中の映像画面から主体を検出するように構成される。
スクリーンショットモジュール２２は、前記映像画面から前記主体の画像をスクリーンショットするように構成される。
取得モジュール２３は、前記主体の画像に基づいて、前記主体に関連する情報を取得するように構成される。
表示モジュール２４は、同一の画面で、前記主体に関連する情報と前記映像画面を表示するように構成される。
一つの例示的な形態において、前記取得モジュール２３は、具体的に、
サーバが前記主体の画像に基づいて前記主体を認識するように、前記主体の画像を前記サーバに送信し、
前記サーバによって送信される前記主体に関連する情報を受信するように構成される。
一つの例示的な形態において、前記取得モジュール２３は、前記サーバによって送信される前記主体に関連する情報を受信する前に、さらに、
前記サーバによって送信される前記主体の認識結果を受信し、
前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断し、
前記主体が検出されたことがない場合、前記主体に関連する情報の取得を要求するデータ要求を前記サーバに送信するように構成される。
別の例示的な形態において、前記取得モジュール２３は、具体的に、
前記主体の画像に基づいて、前記主体を認識して認識結果を得、
前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断し、
前記主体が検出されたことがない場合、前記主体に関連する情報の取得を要求するデータ要求をサーバに送信し、
前記サーバによって送信される前記主体に関連する情報を受信するように構成される。
一つの例示的な形態において、前記表示モジュール２４はさらに、スクリーン上の関連情報が前記主体に関連する情報であることを指示する指示情報をスクリーンに表示するように構成される。
一つの例示的な形態において、前記表示モジュール２４は、具体的に、
前記主体に関連するコンテンツを、映像の表示ウィンドウの半分より小さい表示ウィンドウで、前記映像コンテンツの所定の位置に重畳して表示するように構成される。
別の例示的な形態において、前記表示モジュール２４は、具体的に、
前記主体のコンテンツを前記映像の表示ウィンドウ以外の所定の領域に表示するように構成される。
一つの例示的な形態において、前記検出モジュール２１は、具体的に、
前記映像画面における検出対象の輪郭を検出し、
前記映像画面における検出対象の輪郭に基づいて、前記主体を決定するように構成される。
本実施例に係る装置は、実施例１と実施例２で端末機器によって実行される方法を実行するように構成されてよく、実現形態の詳細と技術効果は類似し、説明が重複するため省略される。
図７は、本願の実施例４に係る端末機器の構造模式図である。図７に示すように、本実施例に係る端末機器はプロセッサ３１と、メモリ３２と、送受信機３３とを含む。前記メモリ３２は命令を記憶するように構成され、前記送受信機３３は他の機器と通信するように構成され、前記プロセッサ３１は、前記端末機器が実施例１又は実施例２に記載の方法を実行するように、前記メモリ３２に記憶されている命令を実行するように構成される。説明が重複するため省略される。
なお、当該プロセッサ３１はマイクロコントローラユニット（Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ、略称ＭＣＵ）であってもよく、ＭＣＵはシングルチップマイクロコンピュータ（Ｓｉｎｇｌｅ Ｃｈｉｐ Ｍｉｃｒｏｃｏｍｐｕｔｅｒ）又はマイコンとも呼ばれる。当該プロセッサ３１はまた、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓ Ｕｎｉｔ、略称ＣＰＵ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、略称ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、略称ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、略称ＦＰＧＡ）、又は他のプログラマブルロジックデバイス、ディスクリートゲート、トランジスタロジックデバイスであってもよい。
メモリ３２はランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、略称ＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、略称ＲＯＭ）、プログラマブル読み取り専用メモリ又は電気的消去可能プログラマブルメモリ、レジスタ等の本分野で通常の記憶媒体であってもよい。
本願の実施例５によれば、コンピュータ可読記憶媒体が提供される。前記コンピュータ可読記憶媒体に命令が記憶されており、前記命令が実行されるとき、コンピュータは実施例１又は実施例２で端末機器によって実行される前記方法を実行する。

Claims (14)

  1. 端末機器が再生中の映像画面から主体を検出することと、
    前記端末機器が前記映像画面から前記主体の画像をスクリーンショットすることと、
    前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することと、
    前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することとを含み、
    前記端末機器が再生中の映像画面から主体を検出することは、
    前記端末機器が前記映像画面における検出対象の輪郭を検出することと、
    前記端末機器が前記映像画面における検出対象の輪郭に基づいて、前記主体を決定することとを含み、
    前記端末機器が前記映像画面における検出対象の輪郭に基づいて、前記主体を決定することは、
    前記検出対象の輪郭に基づいて前記映像画面から人物を認識し、複数の人物が認識された場合、前記検出対象の輪郭に基づいて、顔部が正面、側面、背面を向く人物をそれぞれ決定することと、
    顔部が正面を向く人物がある場合、側面と背面を向く人物を除去することと、
    顔部が正面を向く人物が１人だけである場合、前記顔部が正面を向く人物を前記映像画面の主体として決定することと、
    顔部が正面を向く人物が複数ある場合、前記顔部が正面を向く複数の人物を前記主体とし、又は、画面の中央に位置する１人の人物を選択して前記主体とし、又は、輪郭面積が最大になる人物を前記主体とすることとを含む、映像に基づく情報取得方法。
  2. 前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することは、
    サーバが前記主体の画像に基づいて前記主体を認識するように、前記端末機器が前記主体の画像を前記サーバに送信することと、
    前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信することとを含む、請求項１に記載の映像に基づく情報取得方法。
  3. 前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信する前に、さらに、
    前記端末機器が前記サーバによって送信される前記主体の認識結果を受信することと、
    前記端末機器が前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断することと、
    前記主体が検出されたことがない場合、前記端末機器が、前記主体に関連する情報の取得を要求するデータ要求を前記サーバに送信することとを含む、請求項２に記載の映像に基づく情報取得方法。
  4. 前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することは、
    前記端末機器が前記主体の画像に基づいて、前記主体を認識して認識結果を得ることと、
    前記端末機器が前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断することと、
    前記主体が検出されたことがない場合、前記端末機器が、前記主体に関連する情報の取得を要求するデータ要求をサーバに送信することと、
    前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信することとを含む、請求項１に記載の映像に基づく情報取得方法。
  5. さらに、スクリーン上の関連情報が前記主体に関連する情報であることを指示する指示情報を前記端末機器がスクリーンに表示することを含む、請求項１～４のいずれか１項に記載の映像に基づく情報取得方法。
  6. 前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することは、
    前記端末機器が、前記主体に関連する情報を、前記映像の表示ウィンドウの半分より小さい表示ウィンドウで、前記映像画面の所定の位置に重畳して表示することを含む、請求項１～５のいずれか１項に記載の映像に基づく情報取得方法。
  7. 前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することは、
    前記端末機器が前記主体に関連する情報を前記映像画面の表示ウィンドウ以外の所定の領域に表示することを含む、請求項１～５のいずれか１項に記載の映像に基づく情報取得方法。
  8. 前記主体に関連する情報の表示ウィンドウの形状は、長方形、円形、多角形又は動物の輪郭の形状であり、半透明の状態で表示される、請求項１～５のいずれか１項に記載の映像に基づく情報取得方法。
  9. 端末機器が再生中の映像画面から主体を検出する前に、さらに、
    前記端末機器がユーザインタフェースに推薦機能ボタンを表示することと、
    前記端末機器が前記推薦機能ボタンに対するユーザの第１操作を受信することと、
    前記端末機器が前記第１操作に基づいて、推薦機能をオンにすることとを含み、
    前記端末機器が再生中の映像画面から主体を検出することは、
    前記推薦機能がオンにされた場合、前記端末機器が再生中の映像画面から主体を検出することを含む、請求項１～８のいずれか１項に記載の映像に基づく情報取得方法。
  10. 前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示した後、さらに、
    前記端末機器が前記推薦機能ボタンに対するユーザの第２操作を受信することと、
    前記端末機器が前記第２操作に基づいて、前記推薦機能をオフにすることとを含む、請求項９に記載の映像に基づく情報取得方法。
  11. 前記端末機器が所定の検出対象の優先度の高い順に従って、前記映像画面における対象に対して検出することは、
    前記端末機器が前記映像画面から主体を検出するとき、優先度が最も高い検出対象を候補対象として選択し、前記候補対象から前記主体を決定する、請求項１～９のいずれか１項に記載の映像に基づく情報取得方法。
  12. 端末機器であって、
    プロセッサと、メモリと、送受信機とを含み、前記メモリは命令を記憶するように構成され、前記送受信機は他の機器と通信するように構成され、前記プロセッサは、前記端末機器が請求項１～１１のいずれか１項に記載の映像に基づく情報取得方法を実行するように、前記メモリに記憶されている命令を実行するように構成される、端末機器。
  13. 実行されるとき、コンピュータが請求項１～１１のいずれか１項に記載の映像に基づく情報取得方法を実行するようにする命令が記憶されている、コンピュータ可読記憶媒体。
  14. コンピュータプログラムであって、プログラムコードを含み、前記コンピュータプログラムがコンピュータによって実行されるとき、前記プログラムコードによって請求項１～１１のいずれか１項に記載の映像に基づく情報取得方法が実行される、コンピュータプログラム。
JP2020547082A 2018-10-18 2019-09-30 映像に基づく情報取得方法及び装置 Active JP7231638B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811215133.5 2018-10-18
CN201811215133.5A CN109525877B (zh) 2018-10-18 2018-10-18 基于视频的信息获取方法和装置
PCT/CN2019/109446 WO2020078215A1 (zh) 2018-10-18 2019-09-30 基于视频的信息获取方法和装置

Publications (2)

Publication Number Publication Date
JP2021516501A JP2021516501A (ja) 2021-07-01
JP7231638B2 true JP7231638B2 (ja) 2023-03-01

Family

ID=65772515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020547082A Active JP7231638B2 (ja) 2018-10-18 2019-09-30 映像に基づく情報取得方法及び装置

Country Status (6)

Country Link
US (1) US20200404378A1 (ja)
EP (1) EP3869810A4 (ja)
JP (1) JP7231638B2 (ja)
KR (1) KR102370699B1 (ja)
CN (1) CN109525877B (ja)
WO (1) WO2020078215A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109525877B (zh) * 2018-10-18 2021-04-20 百度在线网络技术（北京）有限公司 基于视频的信息获取方法和装置
CN111836093B (zh) * 2019-04-16 2022-05-31 百度在线网络技术（北京）有限公司 视频播放方法、装置、设备和介质
CN110582014A (zh) * 2019-10-17 2019-12-17 深圳创维－Rgb电子有限公司 电视机及其电视控制方法、控制装置和可读存储介质
CN112601116A (zh) * 2020-12-11 2021-04-02 海信视像科技股份有限公司 一种显示设备及内容显示方法
CN113434729B (zh) * 2021-08-04 2024-01-30 深圳墨世科技有限公司 视频相关信息聚合获取方法、装置和终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006185320A (ja) 2004-12-28 2006-07-13 Ricoh Co Ltd 画像検索装置
JP2006209657A (ja) 2005-01-31 2006-08-10 Bandai Co Ltd オーサリング装置、オーサリング方法およびコンピュータプログラム
JP2009232250A (ja) 2008-03-24 2009-10-08 Panasonic Corp 番組情報表示装置および番組情報表示方法
JP2010152744A (ja) 2008-12-25 2010-07-08 Toshiba Corp 再生装置
JP2013012913A (ja) 2011-06-29 2013-01-17 Mitsubishi Electric Corp デジタル放送受信装置及びデジタル放送受信方法
JP2016119508A (ja) 2014-12-18 2016-06-30 株式会社東芝 方法、システム及びプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR900004954B1 (ko) * 1986-12-10 1990-07-12 삼성전자 주식회사 실시간 영상경계 검출회로
US7467131B1 (en) * 2003-09-30 2008-12-16 Google Inc. Method and system for query data caching and optimization in a search engine system
US8861898B2 (en) * 2007-03-16 2014-10-14 Sony Corporation Content image search
US8239896B2 (en) * 2008-05-28 2012-08-07 Sony Computer Entertainment America Inc. Integration of control data into digital broadcast content for access to ancillary information
US8839306B2 (en) * 2009-11-20 2014-09-16 At&T Intellectual Property I, Lp Method and apparatus for presenting media programs
US9015139B2 (en) * 2010-05-14 2015-04-21 Rovi Guides, Inc. Systems and methods for performing a search based on a media content snapshot image
KR101708646B1 (ko) * 2010-05-26 2017-03-08 엘지전자 주식회사 영상표시기기, 그 시스템 및 그 영상표시기기에 표시된 오브젝트 검색방법
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
US8818025B2 (en) * 2010-08-23 2014-08-26 Nokia Corporation Method and apparatus for recognizing objects in media content
JP5594672B2 (ja) * 2011-04-14 2014-09-24 株式会社 日立産業制御ソリューションズ 物体認識装置および物体認識方法
US20130036442A1 (en) * 2011-08-05 2013-02-07 Qualcomm Incorporated System and method for visual selection of elements in video content
CN103729614A (zh) * 2012-10-16 2014-04-16 上海唐里信息技术有限公司 基于视频图像的人物识别方法及人物识别装置
US9409081B2 (en) * 2012-11-16 2016-08-09 Rovi Guides, Inc. Methods and systems for visually distinguishing objects appearing in a media asset
US9247309B2 (en) * 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
CN103297810A (zh) * 2013-05-23 2013-09-11 深圳市爱渡飞科技有限公司 一种电视画面关联信息的显示方法、装置及系统
CN104301755B (zh) * 2013-07-19 2017-11-03 联想(北京)有限公司 一种电视信息获取方法、电视、后台服务器及系统
CN104066009B (zh) * 2013-10-31 2015-10-14 腾讯科技（深圳）有限公司 节目识别方法、装置、终端、服务器及系统
CN104184923B (zh) * 2014-08-27 2018-01-09 天津三星电子有限公司 用于视频中检索人物信息的系统和方法
KR102365393B1 (ko) * 2014-12-11 2022-02-21 엘지전자 주식회사 이동단말기 및 그 제어방법
EP3065067A1 (en) * 2015-03-06 2016-09-07 Captoria Ltd Anonymous live image search
CN106162355A (zh) * 2015-04-10 2016-11-23 北京云创视界科技有限公司 视频交互方法及终端
US10440435B1 (en) * 2015-09-18 2019-10-08 Amazon Technologies, Inc. Performing searches while viewing video content
JP6783618B2 (ja) * 2016-10-18 2020-11-11 株式会社日立システムズ 情報表示装置、及びその処理制御方法
CN106686404B (zh) * 2016-12-16 2021-02-02 中兴通讯股份有限公司 一种视频分析平台、匹配方法、精准投放广告方法及系统
US10477277B2 (en) * 2017-01-06 2019-11-12 Google Llc Electronic programming guide with expanding cells for video preview
CN107315844A (zh) * 2017-08-17 2017-11-03 广州视源电子科技股份有限公司 一种基于图片的检索方法、装置、设备及存储介质
CN108171207A (zh) * 2018-01-17 2018-06-15 百度在线网络技术（北京）有限公司 基于视频序列的人脸识别方法和装置
CN108491419A (zh) * 2018-02-06 2018-09-04 北京奇虎科技有限公司 一种基于视频实现推荐的方法和装置
CN108399349B (zh) * 2018-03-22 2020-11-10 腾讯科技（深圳）有限公司 图像识别方法及装置
CN108471551A (zh) * 2018-03-23 2018-08-31 上海哔哩哔哩科技有限公司 基于主体识别的视频主体信息显示方法、装置、系统和介质
CN109525877B (zh) * 2018-10-18 2021-04-20 百度在线网络技术（北京）有限公司 基于视频的信息获取方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006185320A (ja) 2004-12-28 2006-07-13 Ricoh Co Ltd 画像検索装置
JP2006209657A (ja) 2005-01-31 2006-08-10 Bandai Co Ltd オーサリング装置、オーサリング方法およびコンピュータプログラム
JP2009232250A (ja) 2008-03-24 2009-10-08 Panasonic Corp 番組情報表示装置および番組情報表示方法
JP2010152744A (ja) 2008-12-25 2010-07-08 Toshiba Corp 再生装置
JP2013012913A (ja) 2011-06-29 2013-01-17 Mitsubishi Electric Corp デジタル放送受信装置及びデジタル放送受信方法
JP2016119508A (ja) 2014-12-18 2016-06-30 株式会社東芝 方法、システム及びプログラム

Also Published As

Publication number Publication date
CN109525877A (zh) 2019-03-26
WO2020078215A1 (zh) 2020-04-23
EP3869810A4 (en) 2022-06-29
JP2021516501A (ja) 2021-07-01
EP3869810A1 (en) 2021-08-25
KR102370699B1 (ko) 2022-03-04
CN109525877B (zh) 2021-04-20
US20200404378A1 (en) 2020-12-24
KR20200110407A (ko) 2020-09-23

Similar Documents

Publication Publication Date Title
JP7231638B2 (ja) 映像に基づく情報取得方法及び装置
US9621950B2 (en) TV program identification method, apparatus, terminal, server and system
US9788065B2 (en) Methods and devices for providing a video
US10068130B2 (en) Methods and devices for querying and obtaining user identification
US11409817B2 (en) Display apparatus and method of controlling the same
KR101846756B1 (ko) Ｔｖ 프로그램 식별 방법, 장치, 단말기, 서버, 및 시스템
CN108495185B (zh) 一种视频标题生成方法和装置
CN109992237B (zh) 智能语音设备控制方法、装置、计算机设备和存储介质
WO2019128568A1 (zh) 内容推送方法、装置及设备
CN111629247B (zh) 一种信息显示方法、装置及电子设备
CN111858971B (zh) 多媒体资源推荐方法、装置、终端及服务器
CN108897996B (zh) 标识信息关联方法及装置、电子设备及存储介质
CN107784045B (zh) 一种快捷回复方法和装置、一种用于快捷回复的装置
US10701301B2 (en) Video playing method and device
CN111897507A (zh) 投屏方法、装置、第二终端和存储介质
CN112672208B (zh) 视频播放方法、装置、电子设备、服务器及系统
JP2021034003A (ja) 人物識別方法、装置、電子デバイス、記憶媒体、及びプログラム
US20230316529A1 (en) Image processing method and apparatus, device and storage medium
WO2019119643A1 (zh) 移动直播的互动终端、方法及计算机可读存储介质
CN111586329A (zh) 一种信息显示方法、装置及电子设备
US20170171462A1 (en) Image Collection Method, Information Push Method and Electronic Device, and Mobile Phone
US11843829B1 (en) Systems and methods for recommending content items based on an identified posture
WO2023182932A2 (zh) 目标物体的识别方法、装置、电子设备及存储介质
CN114915826A (zh) 信息展示方法、装置、计算机设备及计算机可读存储介质
CN117370602A (zh) 视频处理方法、装置、设备与计算机存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230216

R150 Certificate of patent or registration of utility model

Ref document number: 7231638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150