JP6492849B2 - ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム - Google Patents

ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム Download PDF

Info

Publication number
JP6492849B2
JP6492849B2 JP2015061202A JP2015061202A JP6492849B2 JP 6492849 B2 JP6492849 B2 JP 6492849B2 JP 2015061202 A JP2015061202 A JP 2015061202A JP 2015061202 A JP2015061202 A JP 2015061202A JP 6492849 B2 JP6492849 B2 JP 6492849B2
Authority
JP
Japan
Prior art keywords
moving image
user profile
divided moving
similarity
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015061202A
Other languages
English (en)
Other versions
JP2016181143A (ja
Inventor
タプリヤ ローシャン
タプリヤ ローシャン
一方 尹
一方 尹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2015061202A priority Critical patent/JP6492849B2/ja
Priority to US14/844,244 priority patent/US20160286272A1/en
Publication of JP2016181143A publication Critical patent/JP2016181143A/ja
Application granted granted Critical
Publication of JP6492849B2 publication Critical patent/JP6492849B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラムに関する。
特許文献１には、デジタル放送を受信・蓄積し再生する蓄積再生方法であって、入力ストリームを動画及び音声に分離するストリーム処理部と、前記ストリーム処理部の処理したストリームを受け取り蓄積ストリームを作成する蓄積ストリーム作成部と、前記ストリーム処理部の分離した動画を復号する動画処理部と、前記ストリーム処理部の分離した音声を復号する音声処理部と、前記動画処理部の復号した動画の特徴量を抽出する動画特徴量抽出部と、前記音声処理部の復号した音声の特徴量を抽出する音声特徴量抽出部と、前記蓄積ストリーム作成部の作成した蓄積ストリームと、前記動画特徴量抽出部及び前記音声特徴量抽出部の抽出した動画特徴量及び音声特徴量とを蓄積する蓄積装置と、ユーザの特殊再生指示を受信し、操作のタイミングの前後一定期間のストリームの持つ特徴量を前記蓄積装置から読み出し、特徴量のパターンを検出すると共に検出された特徴量のパターンを前記蓄積装置にユーザの好みのパラメタパターンとしてパラメタパターン検出部とを有することを特徴とするデジタル放送蓄積・再生方法が開示されている。
特許文献２には、複数のユーザによりそれぞれ撮影された画像データからそれぞれ抽出された複数の第１のメタ情報と、当該各複数の第１のメタ情報が解析されてそれぞれ導出された複数の第２のメタ情報とが、統計処理されることで生成され、前記第２のメタ情報毎の、当該第２のメタ情報の導出元となった前記各第１のメタ情報の頻度を示す統計情報を記憶する第１の記憶部と、推薦対象となる商品コンテンツまたはサービスコンテンツを示す複数の異なるコンテンツ情報を記憶する第２の記憶部と、前記複数のユーザのうち一のユーザのクライアント装置から、当該クライアント装置において前記複数の第１のメタ情報から導出された前記第２のメタ情報を受信する通信部と、前記受信された第２のメタ情報と、前記記憶された統計情報とを基に、前記記憶された複数のコンテンツ情報から、前記受信された第２のメタ情報について、所定頻度以上の前記頻度を有する前記第１のメタ情報に関連するコンテンツ情報を選択し、当該選択されたコンテンツ情報を前記クライアント装置へ送信するように前記通信部を制御する制御部とを具備するサーバ装置が開示されている。
特許文献３には、携帯電話、ＰＤＡなどの携帯端末を利用してテキスト、静止画、動画像を受信するモバイル環境下で、番組の経過にしたがって番組映像およびその番組映像と関連する番組関連情報から前記携帯端末へ配信するための番組関連コンテンツを生成して提示する番組関連コンテンツ生成・提示方法であって、前記番組映像および番組関連情報を入力して、予め定義された木構造に基づいて前記番組関連コンテンツを生成し、予め携帯端末を有する個々の利用者がそれぞれ視聴リクエストとして設定した視聴データ量に基づいて、前記利用者毎に前記番組関連コンテンツの木構造中のリーフノードを提示候補として選択し、前記木構造のルートから開始して前記提示候補となったリーフノードを順に辿っていく提示経路を提示シナリオとして利用者毎に生成し、生成した提示シナリオを該当する利用者の携帯端末へ送出することを特徴とする番組関連コンテンツ生成・提示方法が開示されている。
非特許文献１には、ユーザの個人的な写真ライブラリの内容を解析して個々の好みを考慮したユーザ適応型ビデオ要約システムが開示されている。この技術では、写真ライブラリを複数のカテゴリに分類し、各カテゴリに属する写真の数によってユーザの嗜好を推測する。また、この技術では、ビデオの各セグメントについても同様に複数のカテゴリに分類し、推測されたユーザの嗜好に基づいて各セグメントに重要度を割り当て、重要性が低いと推測されるセグメントを削除することでビデオ要約を行う。
特開２００７−２７８８０号公報 特開２０１１−２１５９６４号公報 特開２００３−３２６５４号公報
Yuichiro Takeuchi, Masanori Sugimoto, "User-Adaptive Home Video Summarization using Personal Phot Libraries", the 6th ACM international conference on Image and video retrieval (CIVR), Amsterdam, The Netherlands, 2007 July 9-11 (conference duration), Pages 472-479.
本発明は、ユーザの関心度を表すユーザプロファイルを木構造を用いずに作成した場合と比較して、ユーザの関心度が精度良く反映されたユーザプロファイルを作成することができるユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラムを提供することを目的とする。
請求項１に係るユーザプロファイル作成装置は、複数の参照画像の各々の特徴量から求めた前記複数の参照画像の相互間の類似度を用いて、前記複数の参照画像の各々の関係性を木構造で表した木構造情報を作成する第１作成手段と、ユーザが保有する複数の対象画像の各々の特徴量と前記木構造の葉ノードに対応する前記参照画像の各々の特徴量とを用いて、前記ユーザの関心度を前記木構造の各ノードに割り当てたユーザプロファイルを作成する第２作成手段と、を備えている。
請求項２に係るユーザプロファイル作成装置は、請求項１記載の発明において、前記類似度は、視覚的特徴から求められる視覚的類似度、文語的特徴から求められる文語的類似度、及び、前記ユーザと前記複数の参照画像の各々との関連性から求められる社会的類似度のうち、少なくとも２つを含む。
請求項３に係る動画像分析装置は、動画像を複数の時間帯に分割した分割動画像毎に、請求項１又は２記載のユーザプロファイル作成装置により作成された前記ユーザプロファイルと、前記分割動画像に含まれるフレームの各々の特徴量とを用いて前記ユーザプロファイルと前記分割動画像との類似度を計算し、計算した類似度に応じて、前記分割動画像の再生優先度を算出する算出手段を備えている。
請求項４に係る動画像分析装置は、請求項３記載の発明において、前記算出手段により算出された前記分割動画像の再生優先度を、前記分割動画像の前後に隣接する前記分割動画像の再生優先度に基づいて調整する調整手段を更に備えている。
請求項５に係る動画像分析装置は、請求項４記載の発明において、調整対象とする前記分割動画像である対象分割動画像の再生優先度、及び前記対象分割動画像の前に隣接する分割動画像の再生優先度の第１の差と、前記対象分割動画像の再生優先度、及び前記対象分割動画像の後に隣接する分割動画像の再生優先度の第２の差と、が共に予め定めた閾値以上である場合は、前記第１の差及び前記第２の差が前記閾値未満となるように、前記分割動画像の再生優先度を調整する。
請求項６に係る動画像再生装置は、請求項３〜５の何れか１項記載の動画像分析装置と、前記算出手段により算出された前記分割動画像の再生優先度に応じて、前記分割動画像の再生速度を調整しながら前記動画像を再生する再生手段と、を備えている。
請求項７に係るユーザプロファイル作成プログラムは、コンピュータを、請求項１又は２の何れか１項に記載のユーザプロファイル作成装置を構成する各手段として機能させる。
請求項１、７の発明によれば、ユーザの関心度を表すユーザプロファイルを木構造を用いずに作成した場合と比較して、ユーザの関心度が精度良く反映されたユーザプロファイルを作成することができる。
請求項２の発明によれば、視覚的特徴から求められる視覚的類似度のみから複数の参照画像の相互間の類似度を算出した場合と比較して、複数の参照画像の相互間の類似度をより精度良く算出することができる。
請求項３の発明によれば、木構造情報として作成されたユーザプロファイルを用いずに、分割動画像の再生優先度を算出した場合と比較して、ユーザの関心度が精度良く反映された再生優先度を算出することができる。
請求項４の発明によれば、動画像を再生する際、前後に隣接する分割動画像の再生優先度の関わらず、分割動画像の再生優先度を固定とした場合と比較して、動画像をより滑らかに再生することができる。
請求項５の発明によれば、直前及び直後の分割動画像の再生優先度が共に低い分割動画像の再生優先度を高いままとした場合、又は、直前及び直後の分割動画像の再生優先度が共に高い分割動画像の再生優先度を低いままとした場合と比較して、動画像をより滑らかに再生することができる。
請求項６の発明によれば、木構造情報として作成されたユーザプロファイルを用いずに算出された分割動画像の再生優先度を算出して再生する場合と比較して、ユーザの関心度が精度良く反映された再生優先度で動画像を再生することができる。
実施形態に係る動画像再生装置の電気的な構成を示すブロック図である。 実施形態に係る画像ファイルの構成を示す模式図である。 実施形態に係るユーザプロファイル作成処理のプログラムの処理の流れを示すフローチャートである。 実施形態に係る参照画像の一例を示す模式図である。 実施形態に係る動画像再生装置により複数の参照画像の相互間の類似度を算出する式で用いられる各係数とｎＤＣＧとの関係を示すグラフである。 実施形態に係る複数の参照画像の各々の関係性を表す木構造情報の一例を示す模式図である。 実施形態に係る対象画像の一例を示す模式図である。 実施形態に係るユーザプロファイルの一例を示す模式図である。 実施形態に係る動画像再生処理のプログラムの処理の流れを示すフローチャートである。 実施形態に係る参照画像の一例を示す模式図である。 実施形態に係る分割動画像の一例を示す模式図である。 実施形態に係る各分割動画像の再生優先度を調整する前における各分割動画像の再生優先度の一例、及び調整した後における各分割動画像の再生優先度の一例を示す模式図である。 実施形態に係る動画像再生装置において再生対象の動画像の表示例を示す模式図である。 実施形態に係る動画像再生装置において再生対象の動画像を表示する際、分割動画像の再生優先度が変更された場合の表示例を示す模式図である。 複数の参照画像の相互間の類似度をランダムとした場合、視覚的類似度のみとした場合、文語的類似度のみとした場合、社会的類似度のみとした場合、及び、実施形態のように各類似度を加算した場合における各々のｎＤＣＧの平均値を示す表である。 複数の参照画像の相互間の類似度をランダムとした場合、視覚的類似度のみとした場合、文語的類似度のみとした場合、社会的類似度のみとした場合、及び、実施形態のように各類似度を加算した場合における各々のｎＤＣＧの平均値を示したである。 従来法Ｂによる分割動画像の再生優先度を設定する手法を示す模式図である。 従来法Ａで分割動画像の再生優先度を算出した場合、従来法Ｂで分割動画像の再生優先度を算出した場合、実施形態の手法で分割動画像の再生優先度を算出した場合におけるｎＤＣＧの値を示すグラフである。
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
まず、本実施形態に係る動画像再生装置について説明する。
図１に示すように、本実施形態に係る動画像再生装置１０は、装置全体を制御するコントローラ１２を備えている。また、コントローラ１２は、後述する画像評価処理を含む各種処理を実行するＣＰＵ（Central Processing Unit）１４、及び、ＣＰＵ１４の処理に使用されるプログラム及び各種情報を記憶するＲＯＭ（Read Only Memory）１６を備えている。また、コントローラ１２は、ＣＰＵ１４の作業領域として一時的に各種データを記憶するＲＡＭ（Random Access Memory）１８、及び、ＣＰＵ１４の処理に使用される各種情報を記憶する不揮発性メモリ２０を備えている。更に、コントローラ１２は、動画像再生装置１０に接続された外部装置に対するデータの入出力を行うＩ／Ｏインタフェース２２を備えている。
Ｉ／Ｏインタフェース２２には、ユーザにより操作される操作部２４、各種情報を表示する表示部２６、及び、外部サーバ３０を含む外部装置との通信を行う通信部２８が接続されている。
また、動画像再生装置１０には、通信部２８を介して外部サーバ３０が接続されている。外部サーバ３０には、複数のユーザが保有する多数の画像ファイルが記憶されている。これらの多数の画像ファイルは、動画像再生装置１０を含む複数のクライアント端末から外部サーバ３０に送信された画像ファイルである。
画像ファイル４０では、一例として図２に示すように、画像を示す画像情報４０Ａに、撮影日時、撮影者、撮影場所、撮影対象物等を示すタグ情報４０Ｂが付加されている。なお、撮影対象物は、被写体の種類を表す単語であり、例えば猫を撮影した画像であれば、撮影対象物は「猫」となる。
そして、外部サーバ３０に記憶されている画像をクライアント端末で閲覧する際に、クライアント端末により特定の単語がキーワードとして指定されたとする。この場合、外部サーバ３０は、タグ情報４０Ｂを参照して、キーワードに対応する画像ファイルを抽出し、抽出した画像ファイルクライアント端末に送信する。これにより、所望のキーワードに対応する自分の画像又は他のユーザの画像を、各ユーザがクライアント端末で閲覧可能となる。
このように、外部サーバ３０には複数のユーザの多数の画像が記憶されている。本実施形態では、各々のユーザが保有する複数の画像の各々の特徴量を分析し、ユーザの関心度が反映されたユーザプロファイルを作成する。作成したユーザプロファイルは、様々な分野の様々な技術に適用可能となる。
本実施形態に係る動画像再生装置１０は、複数の画像（参照画像）の各々の特徴量から求められる相互間の類似度を用いて、複数の参照画像の各々の関係性を木構造で表した木構造情報を作成する。また、動画像再生装置１０は、ユーザが保有する複数の画像（対象画像）の各々の特徴量と木構造の葉ノードに対応する参照画像の各々とを用いて、ユーザの関心度を木構造の各ノードに割り当てたユーザプロファイルを作成する。そして、動画像再生装置１０は、作成したユーザプロファイルを利用し、各々のユーザに適した再生方法で動画像の再生を行う。
次に、本実施形態に係る動画像再生装置１０のＣＰＵ１４が実行するユーザプロファイル作成処理を行う際の処理の流れを、図３に示すフローチャートを参照して説明する。
なお、本実施形態では、ユーザプロファイル作成処理のプログラムは予め不揮発性メモリ２０に記憶されているが、これに限らない。例えば、ユーザプロファイル作成処理のプログラムは処理のプログラムは、外部装置から通信部２８を介して受信して実行されても良い。また、ＣＤ−ＲＯＭ等の記録媒体に記録されたユーザプロファイル作成処理のプログラムがＣＤ−ＲＯＭドライブ等でＩ／Ｏインタフェース２２を介して読み込まれることにより、ユーザプロファイル作成処理が実行されるようにしてもよい。
例えば、ユーザプロファイル作成処理のプログラムは、操作部２４により実行の指示が入力された場合に、実行される。あるいは、ユーザプロファイル作成処理のプログラムは、外部サーバ３０に対して画像ファイルを送信したタイミングで、実行されても良い。
ステップＳ１０１では、複数の参照画像を示す画像情報を取得する。本実施形態では、外部サーバ３０から、複数のユーザが保有する予め定められた数（例えば、１０００）の画像ファイルを取得する。一例として図４に示すように、複数の参照画像には、建物が建ち並んだ街並みを撮影した風景画像４２Ａ、４２Ｂ、４２Ｅ、４２Ｈ、及び、橋を撮影した風景画像４２Ｃ、４２Ｄ、４２Ｆ、４２Ｇ等が含まれる。
ステップＳ１０３では、取得した画像情報の各々によって示される複数の参照画像の相互間の類似度を算出する。本実施形態では、視覚的特徴から求められる視覚的類似度、文語的特徴から求められる文語的類似度、及び、前記複数の参照画像の各々の保有者と前記複数の参照画像の各々との関連性から求められる社会的類似度を算出する。そして、算出した各々の類似度を加算することにより、複数の参照画像の相互間の類似度を算出する。
まず、ｉ番目の参照画像Ｉｉとｊ番目の参照画像Ｉｊの視覚的類似度ＶＳ（Ｉｉ, Ｉｊ）は、下記の（１）式により求められる。なお、Ｘｉはｉ番目の参照画像の特徴量であり、Ｘｊはｊ番目の参照画像の特徴量であり、σはｉ番目の参照画像の特徴量とｊ番目の参照画像の特徴量との差分の平均値である。
また、参照画像Ｉｉと参照画像Ｉｊの文語的類似度ＴＳ（Ｉｉ，Ｉｊ）は、下記の（２）式及び（３）式により求められる類似度Ｓｉｍ（ｔｉ，ｔｊ）の平均値として求められる。下記の（２）式及び（３）式の各パラメータは、参照画像Ｉｉ及び参照画像Ｉｊの各々のタグ情報４０Ｂに含まれる撮影対象物を表す単語をワードネットに当てはめることにより求められる。
なお、ワードネットは、公知の概念辞書（意味辞書）であり、多数の単語が上位・下位の関係によって定義された階層構造を持つ木構造情報としてデータベース化された概念辞書である。下記の（２）式のｌｓｏ（ｔｉ，ｔｊ）は、ワードネットにおける単語ｔｉ及び単語ｔｊの双方の親ノードとなる単語であり、ｈｙｐｏ（ｔ）は、単語ｔの子ノードの数であり、ｄｅｅｐ（ｔ）は、単語ｔの階層数である。また、ｎｏｄｅｍａｘは、ワードネットにおけるノードの最大数であり、ｄｅｅｐｍａｘはノードの階層の最大数であり、ｋは定数である。
また、類似度Ｓｉｍ（ｔｉ，ｔｊ）を算出する方法としては、公知の方法が適用され、例えば下記の参考文献１に記載の方法が用いられる。
（参考文献１）International Journal of Multimedia and Ubiquitous Engineering Vol.9, No.8 (2014), pp.39-50, "Obtaining Information Content of Concepts: An Overview", Lingling Meng.
なお、本実施形態では、ワードネットを用いて文語的類似度ＴＳ（Ｉｉ，Ｉｊ）を算出する場合について説明したが、これに限らない。多数の単語が上位・下位の関係によって定義された階層構造を持つ木構造情報としてデータベース化された何れかの辞書を用いて、文語的類似度ＴＳ（Ｉｉ，Ｉｊ）を算出すれば良い。
また、参照画像Ｉｉと参照画像Ｉｊの社会的類似度ＳＳ（Ｉｉ，Ｉｊ）は、ｅｉを単位ベクトルとし、Ｗを各々のユーザと各々の参照画像との関係を表す行列とし、ｃを定数として、下記の（４）式乃至（６）式により求められる。なお、下記の（５）式は、例えば下記の参考文献２に記載されたRandom walk with restartの方法を用いた式である。
（参考文献２）DEIM Forum 2011 D3-1, "Efficient Top-k Search for Random Walk with Restart", Yasuhiro FUJIWARA.
そして、本実施形態で用いる、参照画像Ｉｉと参照画像Ｉｊの各々の相互間の類似度は、α、β、γ（α＋β＋γ＝１）を定数とすると、下記の（７）式により求められる。
なお、（７）式における定数α、β、γは、評価対象に正しい順位付けがなされている程、値が大きくなる指標であるｎＤＣＧ（normalized Discounted Cumulated Gain）の値を用いて決定される。一例として図５に、α及びβの組み合わせ毎にｎＤＣＧの値を算出した際の、定数α及びβの組み合わせとｎＤＣＧとの関係を示すグラフを示した。図５に示すように、ｎＤＣＧの値が最大となる定数α、βの組み合わせにより、定数α、βの値が決定される。また、決定されたα、βの値を用いて、γ＝１−α−βを計算することにより、γの値が決定される。
なお、ｎＤＣＧの値は、下記の（８）式及び（９）式により求められる。ｋは、順位付けを行う最大数であり、ｒｅｌｉは、ｉ番目の順位付けの対象物の類似度であり、ｉｄｅａｌＤＣは、ＤＣＧの最大値である。
ステップＳ１０５では、算出した複数の参照画像の相互間の類似度から、階層的なクラスタ解析を行う。クラスタ解析を行う方法としては、最短距離法、最長距離法、群平均法、Ｗａｒｄ法等の公知の技術を用いると良い。
ステップＳ１０７では、階層的なクラスタ解析の結果に応じて、参照画像の各々を葉ノードとした、参照画像の各々の関係性を表す木構造情報を作成する。一例として図６に示すように、木構造情報において、根ノードｎ１は、動物のノードｎ２、及び風景のノードｎ３に分岐している。動物のノードｎ２は、更に、犬の葉ノードｎ４、及び猫のノードｎ５に分岐し、猫のノードｎ５は、更に、猫の種類によって、猫Ａの葉ノードｎ６、及び猫Ｂの葉ノードｎ７に分岐している。風景のノードｎ３は、エッフェル塔の葉ノードｎ８、及び街並みの葉ノードｎ９に分岐している。
また、猫Ｂの葉ノードｎ７には参照画像４２Ｉが対応付けられていて、猫Ａの葉ノードｎ６には参照画像４２Ｊが対応付けられている。また、犬の葉ノードｎ４には参照画像４２Ｋが対応付けられていて、エッフェル塔の葉ノードｎ８には参照画像４２Ｌが対応付けられていて、街並みの葉ノードｎ９には参照画像４２Ｍが対応付けられている。
ステップＳ１０９では、複数の対象画像を示す画像情報を取得する。本実施形態では、外部サーバ３０から、分析対象とするユーザが保有する予め定めた数（例えば、１００）の画像ファイルを取得する。一例として図７に示すように、複数の対象画像には、猫の画像４４Ａ乃至４４Ｆが含まれる。このことから、これらの対象画像を保有するユーザは猫に対して関心度が高いことがわかる。
ステップＳ１１１では、図６に示す木構造情報において、対象画像の各々の特徴量と葉ノードの参照画像の各々の特徴量とを比較し、比較結果に基づいて、対象画像の各々を葉ノードの参照画像の何れかに対応付ける。この対応付けには、例えば公知のＫ近傍法が用いられる。そして、各々の葉ノードの参照画像に対応付けられた対象画像の数を計数する。
ステップＳ１１３では、各ノードに、ユーザの関心度を割り当てる。まず、各々の葉ノードに対してユーザの関心度を割り当てる。関心度は、例えばすべての対象画像の枚数に対する、葉ノードの参照画像に対応付けられた対象画像の枚数の割合とする。すなわち、葉ノードに対応付けられた対象画像の枚数が多い程、関心度が高くなる。次に、葉ノードの１つ上の親ノードに関心度を割り当てる。具体的には、例えば親ノードから分岐した全ての葉ノードに対して割り当てられた関心度を全て加算した値を親ノードの関心度として割り当てる。この関心度の割り当てを根ノードまで繰り返すことにより、各ノードに関心度が割り当てられる。
一例として図８に示すように、猫Ｂの参照画像４２Ｉに対象画像が４０枚、猫Ａの参照画像４２Ｊに対象画像が２０枚、犬の参照画像４２Ｋに対象画像が１５枚対応付けられたとする。また、エッフェル塔の参照画像４２Ｌに対象画像が１５枚、街並みの参照画像４２Ｍに対象画像が１０枚対応付けられたとする。
この場合、犬の葉ノードｎ４に０．１５、エッフェル塔の葉ノードｎ８に０．１５、街並みの葉ノードｎ９に０．１が関心度として割り当てられる。また、猫Ａの葉ノードｎ６及び猫Ｂの葉ノードｎ７を子孫ノードとして持つ猫のノードｎ５には、猫Ａの葉ノードｎ６の関心度０．４と、猫Ｂの葉ノードｎ７の関心度０．２とが加算された０．６が関心度として割り当てられる。さらに、犬の葉ノードｎ４及び猫のノードｎ５を子孫ノートとして持つ動物のノードｎ２には、犬のノードｎ４の関心度０．１５と、猫のノードｎ５の関心度０．６とが加算された０．７５が関心度として割り当てられる。
一方、エッフェル塔の葉ノードｎ８及び街並みの葉ノードｎ９を子孫ノードとして持つ風景のノードｎ３には、エッフェル塔の葉ノードｎ８の関心度０．１５と、街並みの葉ノードｎ９の関心度０．１とが加算された０．２５が関心度として割り当てられる。そして、動物のノードｎ２及び風景のノードｎ３を子ノードとして持つ根ノードｎ１には、動物のノードｎ２の関心度０．７５と、風景のノードｎ３の関心度０．２５とが加算された１が関心度として割り当てられる。このように、猫のノードｎ５の関心度が、犬の葉ノードｎ４、風景のノードｎ３と比較して高いことからも、これらの対象画像を保有するユーザは猫に対して関心度が高いことがわかる。
ステップＳ１１５では、各ノードに関心度が割り当てられた木構造情報をユーザプロファイルとして不揮発性メモリ２０に記憶して、本ユーザプロファイル作成処理プログラムの実行を終了する。
このようなユーザプロファイル作成処理をユーザ毎に行い、ユーザ毎のユーザプロファイルを作成して記憶しておくことで、各々のユーザプロファイルが様々な状況において利用される。本実施形態では、作成したユーザプロファイルが、ユーザに適した動画像再生処理を行う際に利用される場合について説明する。
次に、本実施形態に係る動画像再生装置１０のＣＰＵ１４が操作部２４により実行指示が入力された場合に実行される動画像再生処理を行う際の処理の流れを、図９に示すフローチャートを参照して説明する。
なお、本実施形態では、動画像再生処理のプログラムは予め不揮発性メモリ２０に記憶されているが、これに限らない。例えば、外部装置から通信部２８を介して動画像再生処理のプログラムを受信して不揮発性メモリ２０に記憶しても良い。また、ＣＤ−ＲＯＭ等の記録媒体に記録された動画像再生処理のプログラムをＣＤ−ＲＯＭドライブ等でＩ／Ｏインタフェース２２を介して読み込むことにより、動画像再生処理が実行されるようにしてもよい。
ステップＳ２０１では、再生対象の動画像を示す画像情報を取得する。本実施形態では、外部サーバ３０に記憶されている画像情報を通信部２８を介して取得する。
ステップＳ２０３では、取得した画像情報によって示される動画像を複数の時間帯に分割した分割動画像を生成する。動画像を分割する方法としては、動画像を予め定めた時間毎に分割する方法、動画像を構成する各フレームの特徴量の変化からシーンの切り替わりを抽出してシーン毎に分割する方法等、公知の技術を用いると良い。
ステップＳ２０５では、各分割動画像の特徴量を抽出する。まず、ユーザプロファイルと分割動画像との類似度から求められる類似度点数Ｓ１を算出する。具体的には、分割動画像に含まれる各フレームを対象画像として図３に示すユーザプロファイル作成処理を実行し、分割動画像の木構造情報を作成する。そして、ユーザプロファイルと分割動画像の木構造情報との各ノードについて、コサイン類似により求められる類似度を類似度点数Ｓ１として算出する。
コサイン類似による類似度は、０〜１までの数値で表され、１に近い程、類似していることを示す。類似度ｃｏｓ（ｘ，ｙ）は、木構造情報の各ノードに設定されている関心度をベクトルＶで表し、ユーザプロファイルにおけるベクトルＶのｉ番目の関心度ｘｉとし、分割動画像におけるベクトルＶのｉ番目の関心度ｙｉとして、下記の（１０）式により求められる。
次に、画像の顕著性マップ（サリエンシーマップ）を用いて求められる顕著性点数Ｓ２を算出する。画像の顕著性マップは、視覚的な顕著性を画像の各画素について計算したものである。本実施形態では、例えば分割動画像に含まれる各フレームについて公知の方法を用いて顕著性マップを作成し、作成した各顕著性マップの対応する各画素の平均値を算出することで分割動画像の顕著性マップを作成する。なお、本実施形態では、各フレームの顕著性マップから顕著性点数Ｓ２を直接取得するが、この際、後述するように、顕著性マップの各画素にガウシアン・カーネルを適用することによりノイズを減少させている。
顕著性点数Ｓ２は、作成した分割動画像の顕著性マップに基づいて、２つの要素で表される。１つ目の要素は、顕著性マップの各画素の加重和である。加重和Ｓｕｍ（ｓｍａｐ，Ｑ）は、下記の（１１）式により求められる。なお、（１１）式におけるｓｍａｐ（ｉ，ｊ）は、顕著性マップのガウシアン・カーネルを適用する前の座標（ｉ，ｊ）における画素値であり、Ｑ（ｉ，ｊ）は、顕著性マップ上に設定されたガウシアン・カーネルである。
２つ目の要素は、人間が画像の中心に焦点を当てがちであることに基づくものである。画像の中心における理想的な分布を正規分布で表した理想分布Ｐと、顕著性マップ上に設定されたガウシアン・カーネルＱとの相違を表す情報量ＤＫＬは、公知の計算方法であるＫＬＤ（Kullback-Leibler divergence）を用いて、下記の（１２）式により求められる。なお、（１２）式におけるｐ（ｕ）は、理想分布Ｐの分布密度であり、ｑ（ｕ）は、ガウシアン・カーネルＱの分布密度である。
フレームＦの顕著性点数ＡＳ（Ｆ）は、１つ目の要素である顕著性マップの加重和Ｓｕｍ（ｓｍａｐ，Ｑ）、及び２つ目の要素である理想分布Ｐとガウシアン・カーネルＱとの相違を表す情報量ＤＫＬを用いて、下記の（１３）式で求められる。なお、（１３）式におけるｓｍａｐｆは、フレームＦにおける画素値ｓｍａｐ（ｉ，ｊ）であり、Ｑｆは、フレームＦにおけるガウシアン・カーネルＱである。
本実施形態では、顕著性点数Ｓ２を、各フレームＦの顕著性点数ＡＳ（Ｆ）の平均値ＡＳｉとする。平均値ＡＳｉは、ｉ番目のフレームＦｉとすると、下記の（１４）式によりにより求められる。
なお、上述した各フレームＦの顕著性点数ＡＳ（Ｆ）の平均値ＡＳｉの算出方法は、公知の手法であり、例えば下記の参考文献３に具体的に記載されている。
（参考文献３）H. J. Seo and P. Milanfar. Static and space-time visual saliency detection by self-resemblance. Journal of vision, 2009.
ステップＳ２０７は、ユーザプロファイルと分割動画像との類似度Ｓを算出する。本実施形態では、上述した類似度点数Ｓ１と上述した顕著性点数Ｓ２とを加算した値を、ユーザプロファイルと分割動画像との類似度Ｓとして算出する。なお、類似度点数Ｓ１及び顕著性点数Ｓ２を加算する際には、少なくとも一方に重みづけを行った上で加算しても良い。
ステップＳ２０９では、ユーザプロファイルと分割動画像との類似度Ｓに応じて、分割動画像の再生優先度を設定する。本実施形態では、ユーザプロファイルと分割動画像との類似度Ｓが高い程、再生優先度が高くなるように、各分割動画像の再生優先度を設定する。
例えば、一例として図１０に示す橋を撮影した画像４４Ｇのような橋の画像をユーザが多数保有しているとする。この場合には、一例として図１１に示すように、複数の分割動画像Ｐ１乃至Ｐ４のうち、橋が撮影された画像を含む分割動画像Ｐ２の類似性が高くなる。従って、橋が撮影された画像を含む分割動画像Ｐ２の再生優先度が高く、橋が撮影された画像を含まない分割動画像Ｐ１、Ｐ３、Ｐ４の再生優先度が低くなるように、各分割動画像Ｐ１乃至Ｐ４の再生優先度を設定する。
ステップＳ２１１では、各々の分割動画像について、前後に隣接する分割動画像の再生優先度に基づいて、分割動画像の再生優先度を調整する。本実施形態では、調整対象とする分割動画像である対象分割動画像の再生優先度、及び対象分割動画像の前に隣接する分割動画像の再生優先度の第１の差を算出する。また、対象分割動画像の再生優先度、及び対象分割動画像の後に隣接する分割動画像の再生優先度の第２の差を算出する。そして、第１の差及び第２の差が共に予め定めた閾値以上である場合は、第１の差及び第２の差が閾値未満となるように、分割動画像の再生優先度を調整する。なお、上記予め定めた閾値は、再生対象の動画像が滑らかに再生されるか否かを判定するための閾値であり、例えば、各分割動画像に設定されている再生優先度の最高値及び最低値の差分より小さい値とし、当該差分の半分の値より大きい値とする。また、調整の際には、対象分割動画像に、前に隣接する分割動画像の再生優先度、及び後に隣接する分割動画像の再生優先度の何れか一方を設定すると良い。あるいは、対象分割動画像に、前に隣接する分割動画像の再生優先度、及び後に隣接する分割動画像の再生優先度の平均値を設定しても良い。
例えば、各分割動画像に再生優先度として「高い」又は「低い」を設定する場合、再生優先度が高い分割動画像であっても、直前及び直後の分割動画像の再生優先度が共に低い場合には、その分割動画像の再生優先度が低くなるように再生優先度を調整する。また、再生優先度が低い分割動画像であっても、直前及び直後の分割動画像の再生優先度が共に高い場合には、その分割動画像の再生優先度が高くなるように再生優先度を調整する。
一例として図１２に示すように、再生優先度が高い分割動画像４６が連続する時間帯においては、それらの分割動画像４６の再生優先度を高いままとする。一方、再生優先度が高い分割動画像４６が連続しない場合には、その分割動画像４６の再生優先度が低くなるように調整する。同様に、再生優先度が低い分割動画像４６が連続する時間帯においては、それらの分割動画像４６の再生優先度を低いままとするが、再生優先度が低い分割動画像４６が連続しない場合には、その分割動画像４６の再生優先度が高くなるように調整する。これにより、再生対象の動画像が滑らかに再生される。
ステップＳ２１３では、動画像の再生画面を表示するように表示部２６を制御する。一例として図１３Ａに示すように、再生対象とする動画像を、再生優先度を表す再生矢印４６Ａ、４６Ｂを付した状態で分割動画像毎に表示させる。なお、１つの矢印で表された再生矢印４６Ａは、再生優先度が高いことを表し、３つの矢印で表された再生矢印４６Ｂは、再生優先度が低いことを表す。
本実施形態では、ユーザが操作部２４により何れかの分割動画像の再生優先度を変更する指示を入力した場合、指示された分割動画像の再生優先度を変更する。一例として図１３Ｂに示すように、操作部２４により再生優先度が低い分割動画像の再生優先度を高くする変更が指示された場合、その分割動画像の再生優先度が高くなるように再生優先度を変更する。
ステップＳ２１５では、動画像の再生が指示されたか否かを判定する。本実施形態では、操作部２４により再生指示が入力された場合に、動画像の再生が指示されたと判定する。
ステップＳ２１５で動画像の再生が指示されたと判定した場合（Ｓ２１５，Ｙ）はステップＳ２１７に移行する。また、ステップＳ２１５で動画像の再生が指示されていないと判定した場合（Ｓ２１５，Ｎ）は、動画像の再生が指示されたと判定されるまでステップＳ２１５の処理を繰り返す。
ステップＳ２１７では、動画像の再生処理を行う。本実施形態では、動画像の再生処理において、再生優先度が高い分割動画像については、通常の再生速度で再生し、再生優先度が低い分割動画像については、通常の再生速度より速い再生速度で再生する。これにより、ユーザの好みの映像でないと推測される分割動画像が自動的に早送りされる。
なお、本実施形態では、分割動画像の再生優先度に応じて各分割動画像の再生速度を変更する場合について説明したが、これに限らない。例えば、再生優先度が高い分割動画像のみを再生させても良い。これにより、ユーザの好みの映像であると推測される分割動画像のみが自動的に選択されて再生される。
図１４に、参照画像の各々の相互間の類似度をランダムとした場合、視覚的類似度のみとした場合、文語的類似度のみとした場合、社会的類似度のみとした場合、及び、本発明のように各類似度を加算した場合における各々のｎＤＣＧの平均値を示した。なお、本実施形態では、上述したように、視覚的類似度、文語的類似度、及び、社会的類似度を加算することにより、複数の参照画像の相互間の類似度を算出する。
図１４によると、ｎＤＣＧの平均値は、本発明のように各類似度を加算した場合が最も高いことがわかる。すなわち、複数の参照画像の相互間の類似度を、視覚的類似度、文語的類似度、及び、社会的類似度を加算することにより算出した場合が最も正しく順位付けが行われていると言える。
図１５に、分割動画像の再生優先度をランダムとした場合、従来法Ａで分割動画像の再生優先度を算出した場合、従来法Ｂで分割動画像の再生優先度を算出した場合、本発明の手法で分割動画像の再生優先度を算出した場合におけるｎＤＣＧの平均値を示した。このｎＤＣＧの平均値は、２０人のユーザにより評価されたｎＤＣＧの平均値である。
従来法Ａは、分割動画像に含まれる各フレームについてパターンマッチング等により対象画像との類似度を算出して、算出した類似度に基づいて各分割動画像の再生優先度を設定する手法である。また、従来法Ｂは、一例として図１６に示すように、対象画像及び参照画像の各々について、例えばＫ近傍法により特徴量を抽出し、各々の参照画像に対応付けられた対象画像の枚数を算出し、その枚数の情報を関心度としたユーザプロファイルを作成する。また、分割動画像に含まれる各フレームについても、例えばＫ近傍法により特徴量を抽出し、各々の参照画像に対応付けられた対象画像の枚数を算出する。そして、算出した対象画像の枚数をユーザプロファイルと比較することにより、各分割動画像の再生優先度を設定する手法である。
図１５によると、ｎＤＣＧの平均値は、本発明の手法で分割動画像の再生優先度を算出した場合が最も高いことがわかる。すなわち、本発明の手法で分割動画像の再生優先度を算出した場合が最も正しく順位付けが行われていると言える。
図１７に、従来法Ａで分割動画像の再生優先度を算出した場合、従来法Ｂで分割動画像の再生優先度を算出した場合、本発明の手法で分割動画像の再生優先度を算出した場合におけるｎＤＣＧの値を示した。図１７によると、２０人中の１６人のユーザが、本発明の手法で分割動画像の再生優先度を算出した場合に最も正しく順位付けが行われていると評価していることがわかる。
なお、本実施形態では、作成したユーザプロファイルを動画像再生処理に適用する場合について説明したが、これに限らない。例えば、作成したユーザプロファイルは、マルチメディア、画像検索勧告、パーソナライズビデオ要約、人工知能、ヒューマンコンピュータインタラクション、強制コンピューティング等、様々な分野の様々な技術に適用される。
また、本実施形態では、動画像再生装置１０で図３のユーザプロファイル作成処理、図９の動画像再生処理を行う場合について説明したが、これに限らない。例えば、外部サーバ３０がユーザプロファイル作成処理を行い、動画像再生装置が外部サーバ３０から動画像情報を取得する際に、ユーザプロファイルを示す情報を動画像情報と併せて取得しても良い。あるいは、動画像再生装置が外部サーバ３０から動画像情報を取得する際に、再生優先度を示す情報が付加された動画像情報を取得しても良い。
１０ 装置
１２ コントローラ
１４ ＣＰＵ
１６ ＲＯＭ
１８ ＲＡＭ
２０ 不揮発性メモリ
２２ Ｉ／Ｏインタフェース
２４ 操作部
２６ 表示部
２８ 通信部
４０Ｂ タグ情報
４２Ａ乃至４２Ｍ 参照画像
４４Ａ乃至４４Ｆ 対象画像

Claims (7)

  1. 複数の参照画像の各々の特徴量から求めた前記複数の参照画像の相互間の類似度を用いて、前記複数の参照画像の各々の関係性を木構造で表した木構造情報を作成する第１作成手段と、
    ユーザが保有する複数の対象画像の各々の特徴量と前記木構造の葉ノードに対応する前記参照画像の各々の特徴量とを用いて、前記ユーザの関心度を前記木構造の各ノードに割り当てたユーザプロファイルを作成する第２作成手段と、
    を備えたユーザプロファイル作成装置。
  2. 前記類似度は、視覚的特徴から求められる視覚的類似度、文語的特徴から求められる文語的類似度、及び、前記ユーザと前記複数の参照画像の各々との関連性から求められる社会的類似度のうち、少なくとも２つを含む
    請求項１記載のユーザプロファイル作成装置。
  3. 動画像を複数の時間帯に分割した分割動画像毎に、請求項１又は２記載のユーザプロファイル作成装置により作成された前記ユーザプロファイルと、前記分割動画像に含まれるフレームの各々の特徴量とを用いて前記ユーザプロファイルと前記分割動画像との類似度を計算し、計算した類似度に応じて、前記分割動画像の再生優先度を算出する算出手段
    を備えた動画像分析装置。
  4. 前記算出手段により算出された前記分割動画像の再生優先度を、前記分割動画像の前後に隣接する前記分割動画像の再生優先度に基づいて調整する調整手段を更に備えた
    請求項３記載の動画像分析装置。
  5. 前記調整手段は、調整対象とする前記分割動画像である対象分割動画像の再生優先度、及び前記対象分割動画像の前に隣接する分割動画像の再生優先度の第１の差と、前記対象分割動画像の再生優先度、及び前記対象分割動画像の後に隣接する分割動画像の再生優先度の第２の差と、が共に予め定めた閾値以上である場合は、前記第１の差及び前記第２の差が前記閾値未満となるように、前記分割動画像の再生優先度を調整する
    請求項４記載の動画像分析装置。
  6. 請求項３〜５の何れか１項記載の動画像分析装置と、
    前記算出手段により算出された前記分割動画像の再生優先度に応じて、前記分割動画像の再生速度を調整しながら前記動画像を再生する再生手段と、
    を備えた動画像再生装置。
  7. コンピュータを、請求項１又は２記載のユーザプロファイル作成装置の各手段として機能させるためのプログラム。
JP2015061202A 2015-03-24 2015-03-24 ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム Active JP6492849B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015061202A JP6492849B2 (ja) 2015-03-24 2015-03-24 ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム
US14/844,244 US20160286272A1 (en) 2015-03-24 2015-09-03 User-profile generating apparatus, movie analyzing apparatus, movie reproducing apparatus, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015061202A JP6492849B2 (ja) 2015-03-24 2015-03-24 ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム

Publications (2)

Publication Number Publication Date
JP2016181143A JP2016181143A (ja) 2016-10-13
JP6492849B2 true JP6492849B2 (ja) 2019-04-03

Family

ID=56975954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015061202A Active JP6492849B2 (ja) 2015-03-24 2015-03-24 ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム

Country Status (2)

Country Link
US (1) US20160286272A1 (ja)
JP (1) JP6492849B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875406B (zh) * 2017-01-24 2020-04-14 北京航空航天大学 图像引导的视频语义对象分割方法及装置
JP6472062B2 (ja) * 2017-07-11 2019-02-20 株式会社スタディスト 文書の作成を支援するためのプログラム、方法および装置
US20190129615A1 (en) 2017-10-30 2019-05-02 Futurewei Technologies, Inc. Apparatus and method for simplifying repeat performance of a prior performed task based on a context of a mobile device
CN108804605B (zh) * 2018-05-29 2021-10-22 重庆大学 一种基于层次结构的推荐方法
CN109063737A (zh) * 2018-07-03 2018-12-21 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN109214374B (zh) * 2018-11-06 2020-12-18 北京达佳互联信息技术有限公司 视频分类方法、装置、服务器及计算机可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6345274B1 (en) * 1998-06-29 2002-02-05 Eastman Kodak Company Method and computer program product for subjective image content similarity-based retrieval
US6944830B2 (en) * 2000-12-21 2005-09-13 Xerox Corporation System and method for browsing hierarchically based node-link structures based on an estimated degree of interest
JP4047264B2 (ja) * 2003-09-30 2008-02-13 株式会社東芝 動画像処理装置、動画像処理方法および動画像処理プログラム
KR101582142B1 (ko) * 2008-06-06 2016-01-05 톰슨 라이센싱 이미지들의 유사성 검색을 위한 시스템 및 방법
JP2011217197A (ja) * 2010-03-31 2011-10-27 Sony Corp 電子機器、再生制御システム、再生制御方法及びプログラム
JP2011215964A (ja) * 2010-03-31 2011-10-27 Sony Corp サーバ装置、クライアント装置、コンテンツ推薦方法及びプログラム
JP6031278B2 (ja) * 2012-07-09 2016-11-24 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
JP2014093058A (ja) * 2012-11-07 2014-05-19 Panasonic Corp 画像管理装置、画像管理方法、プログラム及び集積回路
CN103268330A (zh) * 2013-05-07 2013-08-28 天津大学 基于图片内容的用户兴趣提取方法
CN103678480B (zh) * 2013-10-11 2017-05-31 北京工业大学 具有隐私分级可控的个性化图像检索方法

Also Published As

Publication number Publication date
US20160286272A1 (en) 2016-09-29
JP2016181143A (ja) 2016-10-13

Similar Documents

Publication Publication Date Title
JP6492849B2 (ja) ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム
US11393209B2 (en) Generating a video segment of an action from a video
CN108509465B (zh) 一种视频数据的推荐方法、装置和服务器
US10528821B2 (en) Video segmentation techniques
CN113709561B (zh) 视频剪辑方法、装置、设备及存储介质
US9715731B2 (en) Selecting a high valence representative image
US8948515B2 (en) Method and system for classifying one or more images
CN1538351B (zh) 为视频序列生成视频缩略图的方法和计算机
JP6821149B2 (ja) 広告配信のための動画使用情報処理
US9148619B2 (en) Music soundtrack recommendation engine for videos
CN102207950B (zh) 电子装置和图像处理方法
US20190392866A1 (en) Video summarization and collaboration systems and methods
US20170065889A1 (en) Identifying And Extracting Video Game Highlights Based On Audio Analysis
CN109508406B (zh) 一种信息处理方法、装置及计算机可读存储介质
CN111708941A (zh) 内容推荐方法、装置、计算机设备和存储介质
JP2011217209A (ja) 電子機器、コンテンツ推薦方法及びプログラム
JP2009140042A (ja) 情報処理装置、情報処理方法、およびプログラム
US20210117471A1 (en) Method and system for automatically generating a video from an online product representation
US20100169178A1 (en) Advertising Method for Image Search
CN111695422B (zh) 视频标签获取方法、装置、存储介质及服务器
US20180336931A1 (en) Automatic and intelligent video sorting
JP5286732B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
US10853417B2 (en) Generating a platform-based representative image for a digital video
CN114845149B (zh) 视频片段的剪辑方法、视频推荐方法、装置、设备及介质
Sun et al. Ranking highlights in personal videos by analyzing edited videos

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190218

R150 Certificate of patent or registration of utility model

Ref document number: 6492849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350