JP7488333B2 - ビデオ検索方法、装置、端末、及び記憶媒体 - Google Patents

ビデオ検索方法、装置、端末、及び記憶媒体 Download PDF

Info

Publication number
JP7488333B2
JP7488333B2 JP2022522608A JP2022522608A JP7488333B2 JP 7488333 B2 JP7488333 B2 JP 7488333B2 JP 2022522608 A JP2022522608 A JP 2022522608A JP 2022522608 A JP2022522608 A JP 2022522608A JP 7488333 B2 JP7488333 B2 JP 7488333B2
Authority
JP
Japan
Prior art keywords
search
result
target
recommendation
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022522608A
Other languages
English (en)
Other versions
JP2022553174A (ja
Inventor
子昂 王
永▲華▼ ▲張▼
▲暁▼露 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022553174A publication Critical patent/JP2022553174A/ja
Application granted granted Critical
Publication of JP7488333B2 publication Critical patent/JP7488333B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、コンピュータの技術分野に属し、特に、ビデオ検索方法、装置、端末及び記憶媒体に関するものである。
(関連出願への相互参照)
本出願は、2019年10月17日に中国専利局(特許庁に相当する)に提出し、出願番号が201910990463.Xであり、発明の名称が「ビデオ検索方法、装置、端末及び記憶媒体」である中国特許出願の優先権を出張し、かつ、その中国出願の全文の内容を本出願に組み込む。
現在の画像認識技術においては、まず写真を撮った後で、その写真をサーバーに送信する。次に、サーバーにより、写真中の物品または人物を認識するとともに検索する。最後に、検索の結果を端末にフィードバックする。現在はビデオにより検索をする方法がなさそうである。
従来の技術の問題を解決するため、本発明は、ビデオ検索方法、装置、端末、及び記憶媒体を提供する。
そのため、本発明は次の技術的事項を採用する。
本発明の実施例において、ビデオ検索方法を提供する。その方法は、
ビデオ再生画面において、第一制御部の触発により形成される第一事項を受信するステップと、
前記第一事項により、前記第一事項が触発されるとき前記ビデオ再生画面に表示されている現在のビデオ画像フレームを獲得するステップと、
前記現在のビデオ画像フレームにおいて、第二制御部により位置が決められる第一検索待機対象と前記第一検索待機対象が前記現在のビデオ画像フレームに位置している第一表示位置とを獲得し、前記第一表示位置に前記第二制御部を表示するステップと、
前記第一検索待機対象に対応する第一推薦結果を獲得し、かつ、前記第一推薦結果を検索結果画面に表示するステップと、を含む。
本発明の実施例において、ビデオ検索装置を提供する。その装置は、
第一制御部の触発により形成される第一事項を受信する、受信モジュールと、
前記第一事項が触発されるとき前記ビデオ再生画面に表示されている現在のビデオ画像フレームを獲得し、前記現在のビデオ画像フレームにおいて、第二制御部により位置が決められる第一検索待機対象と、前記第一検索待機対象が前記現在のビデオ画像フレームに位置している第一表示位置とを獲得し、前記第一検索待機対象に対応する第一推薦結果を獲得する、獲得モジュールと、
前記第一表示位置に前記第二制御部を表示し、前記第一推薦結果を検索結果画面に表示する、表示モジュールと、を含む。
本発明の実施例において、端末を提供する。前記端末は少なくとも1個の記憶装置と、少なくとも1個の処理装置とを含む。前記記憶装置は、プログラムコードを記憶することに用いられ、前記処理装置は、前記記憶装置に記憶されているプログラムコードを実行することにより、前記方法を実施する。
本発明の実施例において、コンピュータで読み取り可能な記憶媒体を提供する。前記記憶媒体は、プログラムコードを記憶することに用いられ、前記プログラムコードは、前記方法を実施することに用いられる。
本発明の実施例に係るビデオ検索方法は、現在のビデオ内容を選択し、ビデオ画像フレームに対して分類と認識をすることができる。認識される内容は、すべてのビデオ画像に表示されている人物と物品を含むか、或いは、選択された特定区域の人物と物品を含む。本発明の実施例に係るビデオ検索方法により、使用者は、ビデオ中の商品及び人物に関する情報を容易に獲得することができる。
以下、本発明の図面により本発明の具体的な実施例を説明する。それにより、本発明の各実施例に係る技術的特徴、発明の効果、及び目的をより詳細に理解してもらうことができる。本発明の図面において、同一であるか或いは類似している図面中の符号は、同一であるか或いは類似している部品を意味する。下記図面は、本発明の例示にしか過ぎないものであり、図面中の部品と要素は、部品と要素の実際のサイズの比例に描いたものでない。
本発明の実施例に係るビデオ検索方法を示す流れ図である。 本発明の実施例に係るビデオ再生画面にビデオ画像フレームが表示されていることを示す図である。 本発明の実施例において第一制御部が第二制御部に転化することを示す図である。 本発明の実施例に係る検索結果画面を示す図である。 本発明の他の実施例に係る検索結果画面を示す図である。 本発明の他の実施例に係る検索結果画面を示す図である。 本発明の実施例に係る検索待機対象が変換されることを示す図である。 本発明の実施例に係るビデオ検索装置の構造を示す図である。 本発明の実施例に係る電子装置の構造を示す図である。
以下、図面により本発明の実施例をより詳細に説明する。図面には本発明の好適な実施例が記載されているが、本発明は、いろいろな実施例により実施されることができ、かつ、下記実施例の構成にのみ限定されるものでない。下記実施例を説明することにより、本発明の技術的事項をより詳細に理解してもらうことができる。本発明の下記図面と実施例は、本発明の例示にしか過ぎないものであり、本発明の保護範囲を限定するものでないことに、注意されたい。
本発明の実施例に係る方法中の各ステップをいろいろな順番に実施するか或いは同時に実施することができることに、注意されたい。本発明の実施例に係る方法は、付加ステップ及び/又は図示されていないステップを含むことができるが、本発明はそれらを限定しない。
この明細書中の「含む」という用語及びそれに類似している用語は、明確に記載されている事項のみを含むことを意味せず、記載されていない事項を更に含むことを意味することができる。この明細書中の「~による」という用語は、「~事項の少なくとも一部分による」ことを意味し、この明細書中の「1つの実施例」は、「少なくとも1つの実施例」を意味し、この明細書中の「他の実施例」は、「少なくとも1つの他の実施例」を意味し、この明細書中の「1つの実施例」は、「少なくとも一部分の実施例」を意味する。この明細書中の用語が特別な意味を有している場合、それを特別に説明する必要がある。
この明細書中の「第一」、「第二」という用語は、いろいろな装置、モジュール、またはユニットを区分するものであり、その装置、モジュール、またはユニットが実施するステップの順番または依存関係を限定するものでないことに、注意されたい。
この明細書中の「1個」、「複数個」という用語は、事項の数量の例示にしか過ぎないものであり、事項の数量を具体的に限定するものでない。特別な説明がない場合、この技術分野の技術者は、この明細書中の「1個」、「複数個」という用語を「1個または複数個」として理解することができることに、注意されたい。
本発明の実施例において、複数個の装置がインタラクティブする情報または情報の名称は、本発明を説明するものであるが、その情報または情報の範囲を限定するものでない。
以下、図面により、本発明の実施例に係る技術的事項を詳細に説明する。
図1を参照すると、図1は、本発明の実施例に係るビデオ検索方法を示す流れ図である。その方法は、次のステップを含む。
S100において、ビデオ再生画面において第一制御部の触発により形成される第一事項を受信する。
図2を参照すると、図2は、本発明の実施例に係るビデオ再生画面にビデオ画像フレームが表示されていることを示す図である。具体的に、本発明の実施例は、第一制御部を含み、その第一制御部を起動パス(path)にすることができる。起動パスは、プログラムにより端末に形成されるサークルセレクト(circle select)ボタンと画像認識ボタン(image recognition button)であることができる。サークルセレクトボタンと画像認識ボタンの相違点は、次のとおりである。画像認識ボタンをクリックするとき自動認識指令情報を送信することができる。すなわち、1つのフレームを自動に選択した後、それが有効情報であると認定することができる。サークルセレクトボタンは、使用者が選択した1つのフレームの画像中の一部分の情報であることができる。より具体的に、所定のフレームのビデオを再生するとき、使用者は、獲得指令を送信することができる。本発明の実施例において、図2中の第一制御部をクリックすることにより、獲得指令を送信することができる。図2中の第一制御部は、円形アイコンに形成されているが、本発明の他の実施例において、第一制御部を他の形状に形成されることもできることに、注意されたい。すなわち、第一制御部の形状は、円形またはアイコンにのみ限定されるものでない。第一事項がアクティベーション(activation)されるとき、第一事項は、形状が変化する状態に表示されることができる。例えば、第一制御部以外の表示区域は、輝度が低下する状態に表示されることができる。前記事項は、本発明の例示にしか過ぎないものであり、本発明の実施例は、他のアクティベーション表示方法を採用することができる。すなわち、本発明は前記例示にのみ限定されるものでない。
S200において、前記第一事項により、前記第一事項が触発されるとき前記ビデオ再生画面に表示されている現在のビデオ画像フレームを獲得する。
本発明の実施例において、例えば、ビデオ再生ファイル中のビデオ画像フレームを獲得することができる。具体的に、使用者が送信する指令情報により、例えば、第一制御部が触発されることによる制御部の変形または輝度の変化によりビデオの再生を停止させる。ビデオファイルの再生を停止させることにより、獲得した所定のビデオ画像フレームを確定することができる。他の実施例において、触発されるときビデオが再生されているタイムスタンプ(time stamp)を記録し、かつ、そのタイムスタンプにより所定のビデオファイル中のビデオ画像フレームを確定することもできる。
S300において、現在のビデオ画像フレームにおいて第二制御部により位置が決められる第一検索待機対象と、前記第一検索待機対象が現在のビデオ画像フレームに位置している第一表示位置とを獲得する。前記第一表示位置に前記第二制御部を表示する。
第二制御部は、フローティングボックス(floating box)またはフローティングポイント(floating Point)のうち少なくとも1つを含むことができる。本発明の具体的な実施例に係る第二制御部は、フローティングボックスとフローティングポイントを含み、第一検索待機対象は、第一目標と第二目標を含むことができる。本発明の具体的な実施例において、現在のビデオ画像フレームにおいてフローティングボックスにより位置が決められる第一目標と、フローティングポイントにより位置が決められる第二目標とを獲得し、第一目標が現在のビデオ画像フレームに位置している表示位置と、第二目標が現在のビデオ画像フレームに位置している表示位置とを獲得し、第一目標が現在のビデオ画像フレームに位置している表示位置に前記フローティングボックスを表示し、第二目標が現在のビデオ画像フレームに位置している表示位置に前記フローティングポイントを表示することができる。より具体的に、本発明の実施例において、第一制御部を触発させることにより第二制御部を呼び出し、第二制御部により第一検索待機対象及びその位置を決めることができる。第二制御部は、第一制御部から転化するものであることもできる。図3に示すとおり、図3は、本発明の実施例において、第一制御部が第二制御部に転化することを示す図である。その図面において、ボックスAとボックスBは第一検索待機対象である。第一制御部が触発されるとき、第一制御部は、面取り付き矩形に変形し、サイズが増加するとともに、A方向に移動することにより、目標Aに位置している面取り付き矩形のフローティングボックスに変形することができる。本発明の実施例において、ビデオ画像フレームの背景部分と主体部分により、フローティングボックスに対応する表示パラメーターを更に獲得することができる。表示パラメーターは、フローティングボックスの位置情報とサイズ情報を含むことができる。具体的に、表示パラメーターは、フローティングボックスの左上隅の1つ目の画素(pixel)がビデオ画像フレームに位置しているX座標、フローティングボックスの左上隅の1つ目の画素がビデオ画像フレームに位置しているY座標、フローティングボックスの長さ及び幅、等を含むことができる。前記4つの表示パラメーターによりビデオ画像フレームにおいて確定した位置情報とサイズ情報により、フローティングボックスの位置を決めることができる。フローティングボックスは、原点座標、フローティングボックスの長さ及び幅を表示することにより表示し、それにより、フローティングボックスの表示区域を画定することができる。前記フローティングボックスは、規則的形状に形成されているが、本実施例のフローティングボックスを輪郭の認識が可能な不規則的形状に形成するか、或いは、フローティングボックスの最初位置と移動路線を確定することにより、横座標xの変化によって変化する函数f(x)等を獲得することができる。本発明の実施例は、1個の検索待機対象のみを含むだけでなく、第一検索待機対象は、AとBを更に含むことができる。本発明の実施例において、第一検索待機対象の数量を限定しない。本発明は、数量がより多いか、或いはより少ない第一検索待機対象を含むこともできる。第二制御部は、フローティングボックスまたはフローティングポイントにのみ限定されず、類似の役割をする他の第二制御部があっても本発明に含まれることは勿論である。
S400において、前記第一検索待機対象に対応する第一推薦結果を獲得し、かつ、前記第一推薦結果を検索結果画面に表示する。
具体的に、本発明の実施例において、第二制御部の触発により形成される第二事項を受信し、かつ、第二事項により検索結果画面を呼び出す。検索結果画面の少なくとも一部分は、現在のビデオ画像フレームを覆うとともに第二制御部を遮る。第一目標に対応する第一推薦待機結果と第二目標に対応する第二推薦待機結果をそれぞれ獲得する。第一目標を認識する第一ラベルと第一推薦結果は、検索結果画面中の第一区域内に表示され、第二目標を認識する第二ラベルと第二推薦結果は、検索結果画面中の第二区域内に表示される。具体的に、本発明の実施例は、第二制御部の触発により形成された第二事項に対応する第一推薦結果において検索をするステップを含み、かつ、検索結果画面を呼び出すことにより、第一推薦結果を表示することができる。検索結果画面は、ビデオ画像フレームの一部分または全部を覆うことができる。本発明の実施例において、1つのフレームのビデオ画像において物品を検出するか、或いは人物を検出することができる。そのとき、人物と物品に関する検索結果をそれぞれ表示するか、或いは各ラベルにそれぞれ表示することができる。図4に示すとおり、図4は、本発明の実施例に係る検索結果画面を示す図である。図4に示される検索結果画面は、並列に表示されている第一推薦待機結果と第二推薦待機結果を含む。第一推薦待機結果は、第一目標Aに対応するものであり、第二推薦待機結果は、」第二目標Bに対応するものである。例えば、第一目標Aは商品であり、検索結果画面の上部には、商品Aと同一であるかまたは類似する商品が表示され、第二目標Bは人物であり、検索結果画面の下部には、人物B関するビデオの結果が表示されることができる。本発明の実施例は、第一目標Aを認識する第一ラベルaと第二目標Bを認識する第二ラベルbを更に含むことができる。検索結果画面は、例えば、1個のクロスバー(cross bar)と複数個のバーチカルバー(Vertical bar)を含む。クロスバーには、ビデオ中のいろいろな目標に対応するラベルを表示され、そのラベルは、所定の商品/人物にそれぞれ対応することができる。図面に示すとおり、第一目標Aに対応する第一推薦待機結果を表示するとき、第一ラベルaを拡大してラベルにすることができる。第二目標Bに対応する第二推薦待機結果を表示するとき、第一ラベルaを元のサイズに回復させるとともに、第二ラベルbを拡大することができる。本発明の他の実施例において、他の実施形態を採用することができるが、本発明はそれを限定しない。複数個のバーチカルバーは、それぞれクロスバーに対応し、各バーチカルバーは、例えば垂直方向に人物Aに関する他のビデオaと商品Bと同一であるか、または類似する商品bを表示することができる。クロスバーは、固定バーであるか、或いはスクロールバー(scroll bar)であることができる。認識目標が多くない場合、各ラベルを横方向に配列させ、認識目標が多い場合、各ラベルをスクロール方式で表示することができる。同様に、縦方向の商品/ビデオを縦方向のスクロールバー(scroll bar)に配列させることができる。配列の方法を選択するとき、人物ビデオは、例えばクリック率(Click-through Rate)により配列させ、商品類ビデオは、目標商品と類似する類似度により配列させることができる。本発明の実施例において、他の配列の方法を採用することもでき、適合な結果を獲得できる方法であれば、いずれでもよい。図面に示されるとおり、第一推薦待機結果は、縦方向の二列に表示されるか、或いは他の配列方式に表示されることができるが、本発明は、結果の配列方法を限定しない。配列の順番について、例えば、類似度の結果により検索結果を配列させ、類似度が高い結果を前に配列させることができる。配列の順番を決める要因は、ビデオの再生量等を更に含むことができるが、本発明はそれを限定しない。
第一推薦待機結果は、有効目標と無効目標を更に含むことができる。本発明の実施例において、ビデオ再生画面に再生されているビデオ中のすべてのビデオ画像フレームを更に獲得するとともに、各ビデオ画像フレーム中の有効目標を獲得することにより、全局結果を獲得することができる。有効目標は、人物、商品、及び物品のうち少なくとも一種を含み、無効目標は、有効目標以外の目標結果である。具体的に、本発明の実施例において、モデル、例えば多重検出モデル(Multiplex detection model)により目標を分類することができる。具体的に、商品検出モデル、顏検出モデル、及び物品検出モデル、等により、第一検索待機目標を分類することができる。モデルは、例えば、顔特徴情報、商品特徴情報、等を含むことができる。次に、第一推薦待機結果を少なくとも1つの分類に分類する。第一推薦待機結果が有効目標である場合、有効目標に対応する第一推薦結果を獲得し、かつ、第一推薦結果を検索結果画面に表示し、第一推薦待機結果が無効目標である場合、検索結果画面に結果がないと表示することができる。第一推薦待機結果が有効目標である場合、有効目標に対応する第一推薦結果を獲得し、かつ、第一推薦結果と第一推薦結果以外の全局結果を検索結果画面に順に表示し、第一推薦待機結果が無効目標である場合、全局結果を検索結果画面に表示することもできる。
具体的に、本発明の実施例の第一推薦結果を獲得する方法は、オンライン獲得方法とオフライン獲得方法を含むことができる。具体的に、第一推薦結果は、サーバーまたは現地に記憶されるデータであることができる。例えば、物品紹介情報、購入用リンクであるか、或いは、人物に関するビデオであるか、或いは、他の情報であることができる。フィードバックされる結果は、認識される区域の座標とその区域において認識される有効目標であることができる。サーバーに前記ビデオに関する情報がキャッシュされていないとき、サーバーは、オンラインにより認識を随時に実施し、サーバーの商品ライブラリ中の商品と特徴を比較することにより、同一の商品または類似している商品の結果をフィードバックする。認識される結果が人物である場合、例えば顏の特徴を検出し、ビデオ特徴検出手段により、その人物の画像または名前が含まれているビデオがあるかを検索する。検索の過程は、サーバーにおいて実施し、その結果を端末のインターフェースに送信することができる。特に、端末、例えば携帯電話にインストールされたアプリケーションプログラムに固有商品ライブラリがある場合、認識結果により、固有商品ライブラリを直接に採用することができる。固有商品ライブラリに外部リンクを更に設置する場合、その外部リンクをクリックすることにより、例えばスモールルーチン(small routine)、他のAPPまたはウェブページを起動させることができる。オフライン獲得方法は、現在のビデオ画像フレームの結果を獲得するステップと、全局検索結果をフィードバックするステップとを含む。オンラインにより有効な結果を獲得できない場合がある。すなわち、商品または人物の情報を認識できない場合がある。したがって、ユーザーインターフェース(user interface)に図5中の提示情報を表示する必要がある。オフラインによるキャッシュ結果がない場合、使用者は、現在のビデオ画像フレームの検索結果だけでなく、全局結果も獲得することができる。したがって、現在のビデオ画像フレームにおいて有効な結果を獲得することができなくても、使用者は、全局結果を獲得することができる。現在の結果と全局結果が同時にフィードバックされるとき、現在の結果を先に配列させ、全局結果を現在の結果の後に配列させることにより、使用者がより多い選択肢を与えることができることに、注意されたい。図6に示すとおり、図6は、本発明の他の実施例に係る検索結果画面を示す図である。図6において、現在の結果aとbの後ろに1つの全局結果cが配列されている。好ましくは、本実施例においてラベルを更に設置し、そのラベルにより分類を容易にし、かつ、重複除去(duplicate removal)を実施することができる。例えば、全局結果において同一のラベルの結果を比較することにより、同一の物品/同一の人物であるかを判断するか、或いは類似の物品/類似の人物であるかを判断することができる。同一の物品/同一の人物である場合、1つの結果をフィードバックし、その結果を重複除去後の結果とする。類似の物品/類似の人物である場合、各結果を一類とする。
本発明の実施例に係るビデオ検索方法は、検索待機対象を再び確定するステップを更に含むことができる。本発明の実施例において、検索結果画面を現在のビデオ画像フレームの辺縁部まで移動させるとともに、検索結果画面の一部分を隠蔽することにより、第二制御部を表示する。第二制御部が位置している第一表示位置が変化したかを検出する。第一表示位置が変化する場合、第二制御部の第二表示位置を獲得し、前記第二表示位置により、所定の第二検索待機対象を確定し、第二検索待機対象に対応する第二推薦結果を獲得するとともに、検索結果画面を再び呼び出し、検索結果画面中の第一推薦結果を第二推薦結果に変化させる。
具体的に、図7に示すとおり、図7は、本発明の実施例に係る検索待機対象が変換されることを示す図である。本発明の実施例において、検索結果画面の一部分は現在のビデオ画像フレームの下方に隠蔽されている。本発明の他の実施例において、他の隠蔽方法により、検索結果画面を隠蔽することができるが、本発明はそれを制限しない。フローティングボックスの位置がAからGまで移動すること及び/又はフローティングポイントの位置がBからHまで移動することにより、第二検索待機対象を獲得する。第二検索待機対象により第二推薦結果を獲得して表示するステップは、第一検索待機対象により第一推薦結果を獲得して表示するステップを参照することができるので、ここで再び説明しない。
特に、本発明の実施例に係るビデオ検索方法は、リスクコントロールモデル(Risk control model)を更に含むことができる。具体的に、所定の特徴をフィルタするシールド手段を設定することができる。例えば、認識された検索待機目標に予め設定されたフィルタ特徴が含まれているとき、その認識結果をインターセプト(intercept)するとともに、検索にマッチングする指令を送信しないことにより、インターセプトの効果を獲得することができる。インターセプト標準は、暴力シーン、暴力画面をシールドするか、或いは認識された顏特徴がプライバシー(Privacy)事項が含まれているとき、それをシールドするものである。具体的に、顏検出モデルは、セレブリティーアトラース(Celebrity Atlas)のみを含み、検出結果と顏検出モデルが符合しないとき、フィルタ特徴を添加することができる。その場合、検出と検索をしないことにより、個人のプライバシーを保護することができる。本発明の実施例に係るインターセプト標準は、前記例示にのみ限定されるものでなく、好適なフィルタ評判基準は、いずれも本発明の実施例を採用することができる。
本発明の実施例に係るビデオ検索方法をオンライン検索方法またはオフライン検索方法に用いることができる。商品サーバー側において、検出及び検索の結果と商品ライブラリを関連させることにより、営業者は、消費ストックと存量増量を適当に調節し、商品の構造を適合にすることができる。ビデオサーバー側において、ホットスポットを案内することにより、ビデオ提供者は、よりよいビデオを提供することができる。他の場面において、フィードバック結果により、事項配列規則を形成することができる。例えば、プレーズクオンティティー(Praise quantity)、内容の質量、等により、規則形成手段等を自動に形成することができる。
図8に示すとおり、本発明の実施例において、ビデオ検索装置10を更に提供する。その装置は、受信モジュール30、獲得モジュール50、及び表示モジュール70を含むことができる。受信モジュール30は、第一制御部の触発により形成される第一事項を受信する。獲得モジュール50は、第一事項が触発されるときビデオ再生画面に表示されている現在のビデオ画像フレームと、現在のビデオ画像フレームにおいて第二制御部により位置が決められる第一検索待機対象及び第一検索待機対象が現在のビデオ画像フレームに位置している第一表示位置と、第一検索待機対象に対応する第一推薦結果とを獲得する。表示モジュール70は、第一推薦結果を検索結果画面に表示する。
本発明の装置に関する実施例は、本発明の方法に関する実施例に対応するので、類似している事項について方法の実施例を参照することができる。以上、説明してきた装置の実施例は、本発明の例示にしか過ぎないものであり、分離式モジュールとして説明してきたモジュールは、分離式モジュールであるか、或いは非分離式モジュールであることができる。実際の需要により一部分のモジュールまたはすべてのモジュールを採用することにより、本発明の実施例を実施することができる。この技術分野の技術者は、創造的な研究をしなくても本発明を容易に理解することも実施することもできる。
以上、本発明の実施例と応用例により、本発明の実施例に係る視覚検出方法、検索方法、及び装置を説明してきた。以下、本発明の実施例に係る端末と記憶媒体を更に提供し、かつ、その端末と記憶媒体を詳細に説明する。
図9を参照すると、図9は本発明の実施例に用いられる電子装置(例えば端末装置またはサーバー)800の構造を示す図である。本発明の実施例に係る端末装置、例えば携帯電話、ノートブックコンピューター、デジタル放送受信機(Digital broadcasting receiver)、PDA(携帯情報端末、Personal Digital Assistant)、PAD(タブレット)、PMP(ポータブルメディアプレーヤー、Portable Media Player)、車用端末装置(例えばナビゲーション)等の携帯式端末と、例えばデジタルTV、デスクトップコンピュータ等の非携帯式端末とを含むことができるが、本発明はそれらにのみ限定されるものでない。図9に示される端末装置は、本発明の例示にしか過ぎないものであり、本発明の実施例の機能と使用の範囲を限定するものでない。
図9に示すとおり、電子装置800は処理装置(例えば、中央処理装置、画像処理装置、等)801を含むことができる。前記処理装置801は、リードオンリーメモリー(ROM、Read-Only Memory)802に記憶されているプログラム、または記憶装置808からランダムアクセスメモリ(RAM、Random Access Memory)803に送信されるプログラムにより、所定の作業と処理をすることができる。RAM803には、電子装置800の操作に必要である、いろいろなプログラムとデータが更に記憶されている。処理装置801、ROM802、及びRAM803は、バス804により、互いに接続されている。入力/出力(I/O、Input/Output)インターフェース805も、バス804に接続されている。
下記装置を入力/出力(I/O)インターフェース805に接続することができる。当該装置は、例えば、タッチパネル、タッチ基板、キーボード、マウス、画像センサー、マイク、加速度計、ジャイロスコープ、等を含む入力装置806と、液晶表示装置(LCD、Liquid Crystal Display)、スピーカー、振動機、等を含む出力装置807と、メモリーカード、等を含む記憶装置808と、通信装置809とを含むことができる。通信装置809は、電子装置800と他の装置が無線または有線で通信をするようにサポートすることにより、データを交換することができる。図9にはいろいろな装置を具備する電子装置800が示されているが、その電子装置800は、図面の複数の装置を全部具備するか、或いは全部具備しなくてもよい。すなわち、電子装置800は、より多いか、或いはより少ない装置を具備するか、或いは採用することができる。
特に、本発明の実施例において、前記流れ図に示されるステップは、コンピュータソフトウェアプログラムにより実施されることができる。例えば、本発明の実施例は、コンピュータプログラム製品を含み、そのコンピュータプログラム製品は、コンピュータ読み取り可能な媒体に記憶されているコンピュータプログラムを含み、前記コンピュータプログラムは、前記流れ図中の方法を実施するプログラムコードを含むことができる。この実施例において、通信装置809により前記コンピュータプログラムをネットワークからダウンロードしてインストールするか、或いは、記憶装置808からダウンロードしてインストールするか、或いは、ROM802からダウンロードしてインストールすることができる。前記コンピュータプログラムが処理装置801により実行されるとき、前記実施例に係る方法中の所定の機能を実施することができる。
前記コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、コンピュータ読み取り可能な記憶媒体、またはその2つの組合せであることができることに、注意されたい。コンピュータ読み取り可能な記憶媒体は、電気、磁気、光、電磁、赤外線であるか、或いは、半導体のシステム、装置、または部品であるか、或いはそれらの任意の組合せであることができる。コンピュータ読み取り可能な記憶媒体の具体的な例として、1つまたは複数の導線により接続される、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM、Random Access Memory)、リードオンリーメモリー(ROM、Read-Only Memory)、消去可能プログラム可能ROM(EPROM、Erasable Programmable Read-Only Memory)、フラッシュメモリー、光ファイバー、CDロム(CD-ROM、Compact Disc Read Only Memory)、光記憶部品、磁気記憶部品、またはそれらの任意の組合せを含むことができるが、本発明は、それらにのみ限定されるものでない。本発明の実施例において、コンピュータ読み取り可能な記憶媒体は、プログラムを含むか、或いはプログラムを記憶する実物型媒体であり、前記プログラムは、指令実行システム、装置、またはそれらの組合せに用いられることができる。本発明の実施例において、コンピュータ読み取り可能な信号媒体は、ベースバンド(base band)またはキャリアの一部分により伝送されるデータ信号を含み、コンピュータ読み取り可能な信号媒体には、コンピュータ読み取り可能なプログラムコードが記憶されている。その方法により伝送されるデータ信号は、いろいろな信号、例えば電磁信号、光信号、またはそれらの組合せであることができるが、本発明はそれらにのみ限定されるものでない。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体以外のいずれかのコンピュータ読み取り可能な媒体であることができる。前記コンピュータ読み取り可能な信号媒体は、指令実行システム、装置、またはそれらの組合せに用いられるプログラムを送信、伝播、または伝送することができる。コンピュータ読み取り可能な媒体に含まれているプログラムコードは、適当な媒体、例えば、電線、光ケーブル、RF(Radio Frequency)、等により伝送されるか、或いはそれらの組合せにより伝送されることができる。
本発明の実施例において、クライアント端末、サーバー、等は、HTTP(Hyper Text Transfer Protocol、ハイパーテキスト転送プロトコル)等のような通信手段により、現在または未来のネットワークプロトコルと通信をし、かつ、いずれかの実物または媒体型デジタルデータ通信(例えば通信ネットワーク)に接続されることができる。通信ネットワークは、ローカルエリアネットワーク(LAN、local area network)、ワイドエリアネットワーク(WAN、Wide Area Network)、インタネットワーク(例えばインターネット)、及びエンドツーエンドネットワーク(End-to-End Network、例えばad hocエンドツーエンドネットワーク)、及び現在または未来のネットワークプロトを含むことができる。
前記コンピュータ読み取り可能な媒体は、前記電子装置に設けられるか、或いは前記電子装置に設けられず、前記電子装置とそれぞれ存在するものであることができる。
前記コンピュータ読み取り可能な記憶媒体には、1個または複数個のプログラムが記憶されており、前記1個または複数個のプログラムが前記電子装置に実行されることにより、前記電子装置は、前記方法を実施することができる。
1つまたは複数のプログラミング言語(programming language)またはそれらの組合せにより、本発明の実施例に係る方法を実施するコンピュータプログラムコードを作成することができる。前記プログラミング言語は、対象に向くプログラミング言語、例えばJava、Smalltalk、C++を含むか、或いは常用する過程式プログラミング言語、例えば「C」プログラミング言語またはそれに類似しているプログラミング言語を更に含むことができる。プログラムコードは、クライアントコンピュータにより実行されるか、或いは、一部分がクライアントコンピュータにより実行されるか、或いは、独立しているソフトウェアパッケージとして実行されるか、或いは、一部分がクライアントコンピュータにより実行され、かつ、一部分がリモートコンピュータにより実行されるか、或いは、リモートコンピュータまたはサーバーにより実行されることができる。リモートコンピュータにより実行される場合、リモートコンピュータは、いずれかのネットワーク、例えばローカルエリアネットワーク(LAN、local area network)またはワイドエリアネットワーク(WAN、Wide Area Network)により、クライアントコンピュータに接続されるか、或いは外部のコンピュータに接続されることができる(例えばインターネットサービスプロバイダー(Internet Service Provider)が提供するインターネットにより外部のコンピュータに接続される)。
図面中の流れ図とブロックダイアグラム(block diagram)には、本発明の実施例に係るシステム、方法、及びコンピュータプログラムを実施することができる、システムの構造、機能、及び操作方法が記載されている。流れ図とブロックダイアグラム中の各枠は、1つのモジュール、プログラムの一部分、コードの一部分を示し、前記モジュール、プログラムの一部分、コードの一部分は、所定の機能を実現する実行可能な指令を含むことができる。他の実施例において、ブロックダイアグラムの各枠中の各ステップは、図面に示される順番に実施されなくてもよいことに、注意されたい。例えば、隣接している各枠中のステップは、通常、並行の順番に実施されるが、実現しようとする機能が異なることにより、逆の順番に実施されることもできる。ブロックダイアグラム及び/又はと/或いは流れ図中の各枠、ブロックダイアグラム及び/又は流れ図中の各枠の組合せは、所定の機能を獲得するか、或いは所定の操作をすることができるハードウェアにより実施されるか、或いは専用ハードウェアとコンピュータ指令の組合せにより実施されることができることに、注意されたい。
本発明の実施例に係るユニットは、ソフトウェアにより実施されるか、或いはハードウェアにより実施されることができる。特別な説明がない限り、前記ユニットの名称は、そのユニットを限定するものでない。
本発明の実施例に係る少なくとも一部分の機能は、1個または複数個のロジックユニットにより実施されることができる。例えば、常用するロジックユニットは、フィールドプログラマブルゲートアレイ(FPGA、Field Programmable Gate Array)、アプリケーション含有集積回路(ASIC、Application Specific Integrated Circuit)、特定用途向けに開発された汎用の集積回路(ASSP、Application Specific Standard Parts)、システムオンアチップ(SOC、system-on-a-chip)、複合プログラマブルロジックデバイス(CPLD、Complex Programmable logic device)、等を含むことができるが、本発明はそれらにのみ限定されるものでない。
本発明の実施例において、コンピュータ読み取り可能な媒体は、実物型媒体であることができる。そのコンピュータ読み取り可能な媒体は、指令実行システム、装置、または設備が用いるか、或いは指令実行システム、装置、または設備が一緒に用いるプログラムを含むか、或いは記憶することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な記憶媒体またはコンピュータ読み取り可能な信号媒体であることができる。コンピュータ読み取り可能な媒体は、電気、磁性、光、電磁、赤外線であるか、或いは、半導体システム、装置、または設備であるか、或いはそれらの任意の組合せであることができる。コンピュータ読み取り可能な記憶媒体の具体的な例として、1つまたは複数の導線により電気接続される携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM、Random Access Memory)、リードオンリーメモリー(ROM、Read-Only Memory)、消去可能プログラム可能ROM(EPROM、Erasable Programmable Read-Only Memoryまたはフラッシュメモリー)、光ファイバー、CDロム(CD-ROM、Compact Disc Read Only Memory)、光記憶部品、磁気記憶部品、またはそれらの任意の組合せを含むことができるが、本発明はそれらにのみ限定されるものでない。
本発明の1個または複数個の実施例において、ビデオ検索方法を提供する。その方法は、
ビデオ再生画面において第一制御部の触発により形成される第一事項を受信するステップと、
前記第一事項により、前記第一事項が触発されるとき前記ビデオ再生画面に表示されている現在のビデオ画像フレームを獲得するステップと、
現在のビデオ画像フレームにおいて第二制御部により位置が決められる第一検索待機対象と、前記第一検索待機対象が現在のビデオ画像フレームに位置している第一表示位置とを獲得し、前記第一表示位置に前記第二制御部を表示するステップと、
前記第一検索待機対象に対応する第一推薦結果を獲得し、かつ、前記第一推薦結果を検索結果画面に表示するステップと、を含む。
本発明の1個または複数個の実施例に係るビデオ検索方法において、前記第二制御部は、フローティングボックスまたはフローティングポイントのうち少なくとも1つを含む。
本発明の1個または複数個の実施例に係るビデオ検索方法において、前記第一検索待機対象は、第一目標と第二目標を含み、前記第二制御部は、フローティングボックスまたはフローティングポイントを含み、
現在のビデオ画像フレームにおいて、第二制御部により位置が決められる第一検索待機対象と、前記第一検索待機対象が現在のビデオ画像フレームに位置している第一表示位置とを獲得し、前記第一表示位置に前記第二制御部を表示するステップは、
現在のビデオ画像フレームにおいて前記フローティングボックスにより位置が決められる前記第一目標と、前記フローティングポイントにより位置が決められる前記第二目標とをそれぞれ獲得するステップと、
前記第一目標が前記現在のビデオ画像フレームに位置している表示位置と、前記第二目標が前記現在のビデオ画像フレームに位置している表示位置とを獲得するステップと、
前記第一目標が前記現在のビデオ画像フレームに位置している表示位置に前記フローティングボックスを表示し、前記第二目標が前記現在のビデオ画像フレームに位置している表示位置に前記フローティングポイントを表示するステップと、を含む。
本発明の1個または複数個の実施例に係るビデオ検索方法において、前記第一検索待機対象に対応する第一推薦結果を獲得し、かつ、前記第一推薦結果を検索結果画面に表示するステップは、
前記第一目標に対応する第一推薦待機結果と前記第二目標に対応する第二推薦待機結果をそれぞれ獲得するステップと、
前記第一目標を認識する第一ラベルと前記第一推薦結果を前記検索結果画面中の第一区域内に表示するステップと、
前記第二目標を認識する第二ラベルと前記第二推薦結果を前記検索結果画面中の第二区域内に表示するステップと、を含む。
本発明の1個または複数個の実施例に係るビデオ検索方法において、前記第一推薦待機結果は、有効目標と無効目標を更に含み、
前記ビデオ検索方法は、前記ビデオ再生画面に再生されているビデオ中のすべてのビデオ画像フレームを獲得するステップと、各前記ビデオ画像フレーム中の前記有効目標を獲得することにより全局結果を獲得するステップと、を更に含み、
前記有効目標は、人物、商品、及び物品のうち少なくとも一種を含み、前記無効目標は、前記有効目標以外の目標結果である。
本発明の1個または複数個の実施例に係るビデオ検索方法において、前記第一検索待機対象に対応する第一推薦結果を獲得し、かつ、前記第一推薦結果を検索結果画面に表示するステップは、
前記第一推薦待機結果が有効目標である場合、前記有効目標に対応する前記第一推薦結果を獲得し、かつ、前記第一推薦結果を前記検索結果画面に表示し、前記第一推薦待機結果が無効目標である場合、前記検索結果画面に結果がないと表示するステップ、または、
前記第一推薦待機結果が有効目標である場合、前記有効目標に対応する前記第一推薦結果を獲得し、かつ、前記第一推薦結果と前記第一推薦結果以外の前記全局結果を前記検索結果画面に順に表示し、前記第一推薦待機結果が無効目標である場合、前記全局結果を前記検索結果画面に表示するステップ、を更に含む。
本発明の1個または複数個の実施例に係るビデオ検索方法において、前記第一検索待機対象に対応する第一推薦結果を獲得し、かつ前記第一推薦結果を検索結果画面に表示する前に実施する下記ステップ、を更に含む。すなわち、前記第二制御部の触発により形成される第二事項を受信するステップと、前記第二事項により前記検索結果画面を呼び出すステップと、を更に含む。
前記検索結果画面の少なくとも一部分は、前記現在のビデオ画像フレームを覆うとともに、前記第二制御部を遮る。
本発明の1個または複数個の実施例に係るビデオ検索方法において、前記第一検索待機対象に対応する第一推薦結果を獲得し、かつ、前記第一推薦結果を検索結果画面に表示した後、前記検索結果画面を前記現在のビデオ画像フレームの辺縁部まで移動させるとともに、前記検索結果画面の一部分を隠蔽することにより、前記第二制御部を表示するステップ、を更に含む。
本発明の1個または複数個の実施例に係るビデオ検索方法において、前記ビデオ検索方法は、
前記第二制御部が位置している前記第一表示位置が変化したかを検出し、前記第一表示位置が変化する場合、前記第二制御部の第二表示位置を獲得するステップと、
前記第二表示位置により、所定の第二検索待機対象を確定するステップと、
前記第二検索待機対象に対応する第二推薦結果を獲得するステップと、
前記検索結果画面を再び呼び出し、前記検索結果画面中の前記第一推薦結果を前記第二推薦結果に変化させるステップと、を更に含む。
本発明の1個または複数個の実施例に係るビデオ検索装置を提供する。その装置は、
第一制御部の触発により形成される第一事項を受信する受信モジュールと、
前記第一事項が触発されるときビデオ再生画面に表示されている現在のビデオ画像フレームと、前記現在のビデオ画像フレームにおいて第二制御部により位置が決められる第一検索待機対象、及び前記第一検索待機対象が前記現在のビデオ画像フレームに位置している第一表示位置と、前記第一検索待機対象に対応する第一推薦結果とを獲得する獲得モジュールと、
前記第一推薦結果を検索結果画面に表示する表示モジュールと、を含む。
本発明の1個または複数個の実施例に係る端末を提供する。前記端末は、少なくとも1個の記憶装置と少なくとも1個の記憶装置を含む。前記少なくとも1個の記憶装置にはプログラムコードが記憶されており、前記少なくとも1個の記憶装置は、前記少なくとも1個の記憶装置に記憶されているプログラムコードを実行することにより、前記方法を実施する。
本発明の1個または複数個の実施例に係る記憶媒体を提供する。前記記憶媒体にはプログラムコードが記憶されており、前記プログラムコードは、前記方法を実施することに用いられる。
以上、本発明の好適な実施例とそれらに用いられる技術的事項を説明してきた。本技術分野の技術者が知っているように、本発明が公開する範囲は、前記技術的特徴の組合せによって構成される技術的事項にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲において、前記技術的特徴または類似の技術的特徴の組合せにより形成される他の技術的事項を更に含むこともできる。例えば、前記技術的特徴と本発明の実施例に公開される類似の技術的特徴(それにのみ限定されるものでない)により形成される技術的事項を更に含むこともできる。
以上、本発明の各ステップを所定の順番に説明してきたが、本発明の前記ステップは、前記所定の順番にのみ実施されるものではなく、他の順番に実施されることもできることに、注意されたい。所定の条件において、多任務を同時に実施するか、或いは多任務を並行に実施することにより、想像外の発明の効果を獲得することができる。同様に、前記明細書には本発明の複数個の具体的な実施形態が含まれているが、本発明は前記具体的な実施形態にのみ限定されるものでない。ある1つの実施例に記載されている所定の技術的特徴を結合させることにより、その実施例を実施することができる。また、ある1つの実施例に記載されている所定の技術的特徴を複数個の実施例にそれぞれ結合させるか、或いは適合な結合手段により、複数個の実施例に同時に結合させることができる。
以上、本発明の特定の構造特徴及び/又は方法のロジカルアクション(logical action)により本発明の事項を説明してきたが、前記特定の構造特徴及び/又は方法のロジカルアクションのみにより本発明の特許請求の範囲を定める意図はない。逆に、前記特定の特徴と動作は、本発明の特許請求の範囲を実施する例示にしか過ぎないものである。

Claims (11)

  1. ビデオ検索方法であって、
    前記方法は、端末装置によって実施されるものであり、
    ビデオ再生画面において、第一制御部の触発により形成される第一事項を受信するステップと、
    前記第一事項により、前記第一事項が触発されるとき前記ビデオ再生画面に表示されている現在のビデオ画像フレームを獲得するステップと、
    前記現在のビデオ画像フレームにおいて、第二制御部により位置が決められる第一検索待機対象と、前記第一検索待機対象が前記現在のビデオ画像フレームに位置している第一表示位置とを獲得し、前記第一表示位置に前記第二制御部を表示するステップと、
    前記第一検索待機対象に対応する第一推薦結果を獲得し、かつ、前記第一推薦結果を検索結果画面に表示するステップと、を含み、
    前記方法は、
    前記第一検索待機対象に対応する第一推薦結果を獲得し、かつ、前記第一推薦結果を検索結果画面に表示する前に、さらに、
    前記第二制御部の触発により形成される第二事項を受信するステップと、
    前記第二事項により前記検索結果画面を呼び出すステップと、を含み、
    前記検索結果画面の少なくとも一部分は、前記現在のビデオ画像フレームを覆うとともに、前記第二制御部を遮る、
    ことを特徴とする、方法。
  2. 前記第二制御部は、フローティングボックスまたはフローティングポイントのうち少なくとも1つを含む、
    ことを特徴とする、請求項1に記載の方法。
  3. 前記第一検索待機対象は、第一目標と第二目標を含み、前記第二制御部は、フローティングボックスまたはフローティングポイントを含み、
    前記現在のビデオ画像フレームにおいて第二制御部により位置が決められる第一検索待機対象と、前記第一検索待機対象が現在のビデオ画像フレームに位置している第一表示位置とを獲得し、前記第一表示位置に前記第二制御部を表示するステップは、
    前記現在のビデオ画像フレームにおいて前記フローティングボックスにより位置が決められる前記第一目標と前記フローティングポイントにより位置が決められる前記第二目標とをそれぞれ獲得するステップと、
    前記第一目標が前記現在のビデオ画像フレームに位置している表示位置と、前記第二目標が前記現在のビデオ画像フレームに位置している表示位置とを獲得するステップと、
    前記第一目標が前記現在のビデオ画像フレームに位置している表示位置に前記フローティングボックスを表示し、前記第二目標が前記現在のビデオ画像フレームに位置している表示位置に前記フローティングポイントを表示するステップと、
    を含む、
    ことを特徴とする、請求項2に記載の方法。
  4. 前記第一検索待機対象に対応する第一推薦結果を獲得し、かつ、前記第一推薦結果を検索結果画面に表示するステップは、
    前記第一目標に対応する第一推薦待機結果と、前記第二目標に対応する第二推薦待機結果とをそれぞれ獲得するステップと、
    前記第一目標を認識する第一ラベルと、前記第一推薦結果とを前記検索結果画面中の第一区域内に表示するステップと、
    前記第二目標を認識する第二ラベルと、第二推薦結果とを前記検索結果画面中の第二区域内に表示するステップと、
    を含む、
    ことを特徴とする、請求項3に記載の方法。
  5. 前記第一推薦待機結果は、有効目標と無効目標を更に含み、
    前記ビデオ検索方法は、さらに、
    前記ビデオ再生画面に再生されているビデオ中のすべてのビデオ画像フレームを獲得するステップと、
    各前記ビデオ画像フレーム中の前記有効目標を獲得することにより全局結果を獲得するステップと、含み、
    前記有効目標は、人物、商品及び物品のうち少なくとも一種を含み、前記無効目標は、前記有効目標以外の目標結果である、
    ことを特徴とする、請求項4に記載の方法。
  6. 前記第一検索待機対象に対応する第一推薦結果を獲得し、かつ、前記第一推薦結果を検索結果画面に表示するステップは、さらに、
    前記第一推薦待機結果が有効目標である場合、前記有効目標に対応する前記第一推薦結果を獲得し、かつ、前記第一推薦結果を前記検索結果画面に表示し、前記第一推薦待機結果が無効目標である場合、前記検索結果画面に結果がないと表示するステップ、または、
    前記第一推薦待機結果が有効目標である場合、前記有効目標に対応する前記第一推薦結果を獲得し、かつ、前記第一推薦結果と前記第一推薦結果以外の前記全局結果を前記検索結果画面に順に表示し、前記第一推薦待機結果が無効目標である場合、前記全局結果を前記検索結果画面に表示するステップ、
    を含む、
    ことを特徴とする、請求項5に記載の方法。
  7. 前記方法は、さらに、
    前記第一検索待機対象に対応する第一推薦結果を獲得し、かつ、前記第一推薦結果を検索結果画面に表示した後、前記検索結果画面を前記現在のビデオ画像フレームの辺縁部まで移動させるとともに、前記検索結果画面の一部分を隠蔽することにより、前記第二制御部を表示するステップ、
    を含む、
    ことを特徴とする、請求項に記載の方法。
  8. 前記方法は、さらに、
    前記第二制御部が位置している前記第一表示位置が変化したかを検出し、前記第一表示位置が変化する場合、前記第二制御部の第二表示位置を獲得するステップと、
    前記第二表示位置により所定の第二検索待機対象を確定するステップと、
    前記第二検索待機対象に対応する第二推薦結果を獲得するステップと、
    前記検索結果画面を再び呼び出し、前記検索結果画面中の前記第一推薦結果を前記第二推薦結果に変化させるステップと、
    を含む、
    ことを特徴とする、請求項に記載の方法。
  9. ビデオ検索装置であって、
    ビデオ再生画面において、第一制御部の触発により形成される第一事項を受信する、受信モジュールと、
    前記第一事項により、前記第一事項が触発されるとき前記ビデオ再生画面に表示されている現在のビデオ画像フレームを獲得し、前記現在のビデオ画像フレームにおいて、第二制御部により位置が決められる第一検索待機対象と、前記第一検索待機対象が前記現在のビデオ画像フレームに位置している第一表示位置とを獲得し、前記第一検索待機対象に対応する第一推薦結果を獲得する、獲得モジュールと、
    前記第一表示位置に前記第二制御部を表示し、前記第一推薦結果を検索結果画面に表示する、表示モジュールと、
    を含み、
    前記装置は、
    前記第一検索待機対象に対応する第一推薦結果を獲得し、かつ、前記第一推薦結果を検索結果画面に表示する前に、さらに、
    前記第二制御部の触発により形成される第二事項を受信し、かつ、
    前記第二事項により前記検索結果画面を呼び出す、ように構成されており、
    前記検索結果画面の少なくとも一部分は、前記現在のビデオ画像フレームを覆うとともに、前記第二制御部を遮る、
    ことを特徴とする、装置。
  10. 少なくとも1個の記憶装置と、少なくとも1個の処理装置とを含む、端末であって、
    前記少なくとも1個の記憶装置には、プログラムコードが記憶されており、
    前記
    プログラムコードが実行されると、前記少なくとも1個の処理装置に、請求項1乃至いずれか一項に記載の方法を実施させる、
    ことを特徴とする、端末。
  11. プログラムコードが記憶されている、コンピュータで読み取り可能な記憶媒体であって、
    前記プログラムコードが実行されると、前記コンピュータに、請求項1乃至いずれか一項に記載の方法を実施させる、
    ことを特徴とする、記憶媒体。
JP2022522608A 2019-10-17 2020-09-11 ビデオ検索方法、装置、端末、及び記憶媒体 Active JP7488333B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910990463.XA CN110704684B (zh) 2019-10-17 2019-10-17 视频搜索的方法及装置、终端和存储介质
CN201910990463.X 2019-10-17
PCT/CN2020/114799 WO2021073328A1 (zh) 2019-10-17 2020-09-11 视频搜索的方法及装置、终端和存储介质

Publications (2)

Publication Number Publication Date
JP2022553174A JP2022553174A (ja) 2022-12-22
JP7488333B2 true JP7488333B2 (ja) 2024-05-21

Family

ID=69200515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022522608A Active JP7488333B2 (ja) 2019-10-17 2020-09-11 ビデオ検索方法、装置、端末、及び記憶媒体

Country Status (4)

Country Link
US (1) US11630861B2 (ja)
JP (1) JP7488333B2 (ja)
CN (1) CN110704684B (ja)
WO (1) WO2021073328A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704684B (zh) 2019-10-17 2022-08-09 北京字节跳动网络技术有限公司 视频搜索的方法及装置、终端和存储介质
CN112199522B (zh) * 2020-08-27 2023-07-25 深圳一块互动网络技术有限公司 互动实现方法、终端、服务端、计算机设备及存储介质
CN115225945A (zh) * 2021-04-20 2022-10-21 北京字节跳动网络技术有限公司 对象展示方法、装置、电子设备及计算机可读存储介质
CN113343005A (zh) * 2021-05-17 2021-09-03 北京百度网讯科技有限公司 搜索方法、装置、电子设备以及可读存储介质
CN113535031A (zh) * 2021-08-03 2021-10-22 北京字跳网络技术有限公司 页面显示方法、装置、设备及介质
CN113589991A (zh) * 2021-08-13 2021-11-02 北京字跳网络技术有限公司 一种文本输入方法、装置、电子设备和存储介质
CN115878844A (zh) * 2021-09-27 2023-03-31 北京有竹居网络技术有限公司 基于视频的信息展示方法及装置、电子设备和存储介质
CN115878838A (zh) * 2021-09-27 2023-03-31 北京有竹居网络技术有限公司 基于视频的信息展示方法、装置、电子设备及存储介质
CN114398554B (zh) * 2022-01-17 2023-11-14 北京字跳网络技术有限公司 内容搜索方法、装置、设备及介质
CN114443897A (zh) * 2022-02-10 2022-05-06 北京字跳网络技术有限公司 一种视频推荐方法、装置、电子设备和存储介质
CN114786062A (zh) * 2022-03-07 2022-07-22 维沃移动通信有限公司 信息推荐方法、装置和电子设备
CN114780790A (zh) * 2022-05-05 2022-07-22 北京字节跳动网络技术有限公司 内容搜索方法、装置、设备和存储介质
CN114969524A (zh) * 2022-05-24 2022-08-30 北京字节跳动网络技术有限公司 信息搜索方法、装置、设备及介质
CN115665498A (zh) * 2022-10-27 2023-01-31 北京字跳网络技术有限公司 一种视频处理方法、装置、设备及存储介质
CN116471429B (zh) * 2023-06-20 2023-08-25 上海云梯信息科技有限公司 基于行为反馈的图像信息推送方法及实时视频传输系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054435A (ja) 2002-07-17 2004-02-19 Toshiba Corp ハイパーメディア情報提示方法、ハイパーメディア情報提示プログラムおよびハイパーメディア情報提示装置
US20160063104A1 (en) 2008-09-23 2016-03-03 Disney Enterprises, Inc. System and Method for Visual Search in a Video Media Player
CN109388725A (zh) 2018-10-30 2019-02-26 百度在线网络技术(北京)有限公司 通过视频内容进行搜索的方法及装置
CN110121093A (zh) 2018-02-06 2019-08-13 优酷网络技术(北京)有限公司 视频中目标对象的搜索方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2756073B2 (ja) * 1993-04-06 1998-05-25 株式会社富士通ソーシアルサイエンスラボラトリ データ検索方法
JP3093987B2 (ja) * 1997-03-07 2000-10-03 日立ソフトウエアエンジニアリング株式会社 部分動画像関連情報検索方法及びシステム
US20070250775A1 (en) * 2006-04-19 2007-10-25 Peter Joseph Marsico Methods, systems, and computer program products for providing hyperlinked video
KR101727316B1 (ko) * 2010-10-08 2017-04-17 삼성전자 주식회사 비디오 재생장치 및 그 위치탐색방법
US8854474B2 (en) * 2011-03-08 2014-10-07 Nice Systems Ltd. System and method for quick object verification
US20140178041A1 (en) * 2012-12-26 2014-06-26 Balakesan P. Thevar Content-sensitive media playback
CN104112129A (zh) * 2014-06-25 2014-10-22 小米科技有限责任公司 图像识别方法及装置
CN105095483A (zh) * 2015-08-14 2015-11-25 北京铭嘉实咨询有限公司 图片码识别方法和系统
CN106776957A (zh) * 2016-12-05 2017-05-31 乐视控股(北京)有限公司 内容搜索方法、装置及电子设备
KR20180091285A (ko) * 2017-02-06 2018-08-16 삼성전자주식회사 동영상 관련 서비스 표시 방법, 저장 매체 및 이를 위한 전자 장치
CN107657011A (zh) * 2017-09-25 2018-02-02 小草数语(北京)科技有限公司 视频内容搜索方法、装置及其设备
WO2019182583A1 (en) * 2018-03-21 2019-09-26 Rovi Guides, Inc. Systems and methods for presenting auxiliary video relating to an object a user is interested in when the user returns to a frame of a video in which the object is depicted
CN109218750B (zh) * 2018-10-30 2022-01-04 百度在线网络技术(北京)有限公司 视频内容检索的方法、装置、存储介质和终端设备
CN110704684B (zh) * 2019-10-17 2022-08-09 北京字节跳动网络技术有限公司 视频搜索的方法及装置、终端和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054435A (ja) 2002-07-17 2004-02-19 Toshiba Corp ハイパーメディア情報提示方法、ハイパーメディア情報提示プログラムおよびハイパーメディア情報提示装置
US20160063104A1 (en) 2008-09-23 2016-03-03 Disney Enterprises, Inc. System and Method for Visual Search in a Video Media Player
CN110121093A (zh) 2018-02-06 2019-08-13 优酷网络技术(北京)有限公司 视频中目标对象的搜索方法及装置
CN109388725A (zh) 2018-10-30 2019-02-26 百度在线网络技术(北京)有限公司 通过视频内容进行搜索的方法及装置

Also Published As

Publication number Publication date
US11630861B2 (en) 2023-04-18
CN110704684B (zh) 2022-08-09
CN110704684A (zh) 2020-01-17
US20220237227A1 (en) 2022-07-28
JP2022553174A (ja) 2022-12-22
WO2021073328A1 (zh) 2021-04-22

Similar Documents

Publication Publication Date Title
JP7488333B2 (ja) ビデオ検索方法、装置、端末、及び記憶媒体
CN107256109B (zh) 信息显示方法、装置及终端
US20200342338A1 (en) Method for preloading application, storage medium, and terminal
CN108920515B (zh) 网页显示过程的信息推荐方法、装置、设备及存储介质
US20190364133A1 (en) Display processing method and apparatus, and electronic terminal therefor
CN108287919B (zh) 网页应用的访问方法、装置、存储介质及电子设备
US10956763B2 (en) Information terminal device
EP3479221A1 (en) Electronic device and information providing method thereof
WO2020000970A1 (zh) 标识用户兴趣的方法、装置、终端设备及存储介质
US10275525B2 (en) Method and system for mining trends around trending terms
CN111310086A (zh) 一种页面跳转方法、装置和电子设备
CN110717126A (zh) 页面浏览方法、装置、电子设备及计算机可读存储介质
CN113608816B (zh) 进度的调整方法、装置、电子设备和存储介质
CN113656128A (zh) 页面生成方法、装置和电子设备
CN107145314B (zh) 一种显示处理方法和装置、一种用于显示处理的装置
CN110825909A (zh) 视频图像的识别方法、装置、服务器、终端和存储介质
CN114925285B (zh) 书籍信息处理方法、装置、设备和存储介质
JP2008146490A (ja) 情報提供装置、情報提供方法、及びコンピュータプログラム
CN115248650B (zh) 屏幕朗读方法、装置
CN112114723B (zh) 页面滑动方法、装置和电子设备
CN111815340B (zh) 推广信息确定方法、装置、设备及可读存储介质
CN112579879B (zh) 一种基于阅读内容的推送方法、装置及电子设备
CN111209156B (zh) 一种页面元素的检测方法、装置、设备和可读介质
CN111209499B (zh) 一种页面展示的方法、装置、设备和可读介质
CN118331466A (zh) 一种信息展示方法、装置、电子设备、计算机可读介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240222

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240509

R150 Certificate of patent or registration of utility model

Ref document number: 7488333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150