JP7378172B2 - 効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法および装置 - Google Patents

効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法および装置 Download PDF

Info

Publication number
JP7378172B2
JP7378172B2 JP2022072173A JP2022072173A JP7378172B2 JP 7378172 B2 JP7378172 B2 JP 7378172B2 JP 2022072173 A JP2022072173 A JP 2022072173A JP 2022072173 A JP2022072173 A JP 2022072173A JP 7378172 B2 JP7378172 B2 JP 7378172B2
Authority
JP
Japan
Prior art keywords
network
video
attention
keyframes
reward function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022072173A
Other languages
English (en)
Other versions
JP2023129179A (ja
Inventor
チョ・グンシク
ユン・ウィニョン
ホン・ミョンドク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inha Industry Partnership Institute
Original Assignee
Inha Industry Partnership Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inha Industry Partnership Institute filed Critical Inha Industry Partnership Institute
Publication of JP2023129179A publication Critical patent/JP2023129179A/ja
Application granted granted Critical
Publication of JP7378172B2 publication Critical patent/JP7378172B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Description

本発明は、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法および装置に関する。
ＹｏｕＴｕｂｅ（登録商標）のようなオンライン動画共有プラットフォームを利用して興味のある映像を検索するために時間を費やす人が多くなった。この時間を短縮するためにプレビューまたは要約映像を使用することで、全体映像コンテンツを効率的かつ迅速に把握することができる（非特許文献１）。ここ数年間にわたって映像要約が重要視されるようになっており、映像コンテンツを検索したり、長い映像から短い形式の要約映像を製作したりするための研究が積極的に行われている。しかし、映像要約では、映像のフレームレベルまたはショットレベルの重要度点数を予測するための困難な作業が問題となっている（非特許文献２）。映像要約は、明らかな視聴覚パターンや意味の規則がない、抽象的かつ主観的なマルチモード作業であるためである。映像のフレームが興味深いものであるか有益なものであれば、フレームの重要度点数が高くなければならない。また、このような高い点数のフレームが、映像要約を製作するために選択される。
最近は多様な方法が提案されているが、このような方法はディープラーニング（非特許文献３、４、５）を利用することで高い性能を発揮する。ディープラーニング基盤の映像要約方法は、教師あり学習基盤の方法と教師なし学習基盤の方法とに分けられる。教師あり学習基盤の方法の場合は、ラベルが指定されたデータセットを生成するのが極めて難しい。さらに、多様なドメインや場面を包括した大規模なデータセットを生成することも極めて難しい。このような理由により、教師なし映像要約方法の開発に力が注がれてきた。
強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ：ＲＬ）基盤の映像要約方法が従来技術（非特許文献６）で提案され、優れた成果を示した。特に、ＲＬを用いて深層ニューラルネットワークを学習させるために、報酬関数であるキーフレームを選択するための効率的かつ明示上な評価方法がある。さらに、深層ニューラルネットワークは、評価方法を利用して、代表性、多様性、統一性などの映像の多様な特徴を効率的に学習する。ＲＬを使用しながら、部分線形補間法を使用する従来技術（非特許文献３）でＩｎｔｅｒ－ＳＵＭを提案した。補間法を用いることとでネットワークの出力を減らし、高い分散問題を緩和して性能を改善した。しかし、多くの映像において、キーフレームが特定の場面からしか選択されなかったり、興味深いキーフレームが適切に選択されなかったりした。
さらに、以前のＲＬ基盤の映像要約方法にはいくつかの短所がある。一つ目に、深層ニューラルネットワークによっては視覚的および時間的コンテキストの捕捉が難しい。二つ目に、多くの方法は、キーフレームの時間的分布を考慮せず、キーフレーム同士の視覚的な差を計算してネットワークを学習させるために報酬関数または損失関数を使用する。したがって、一律的に映像を容易に理解できるようにキーフレームを選択して演出者のストーリーラインを生かすことのできる映像要約方法が求められている。
Ｅｊａｚ，Ｎ．；Ｍｅｈｍｏｏｄ，Ｉ．；Ｂａｉｋ，Ｓ．Ｗ．Ｅｆｆｉｃｉｅｎｔ ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ ｂａｓｅｄ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｅｘｔｒａｃｔｉｎｇ ｋｅｙ ｆｒａｍｅｓ ｆｒｏｍ ｖｉｄｅｏｓ．Ｊ．Ｉｍａｇｅ Ｃｏｍｍｕｎ．２０１３，２８，３４－４４． Ｇｙｇｌｉ，Ｍ．；Ｇｒａｂｎｅｒ，Ｈ．；Ｒｉｅｍｅｎｓｃｈｎｅｉｄｅｒ，Ｈ．；Ｇｏｏｌ，Ｌ．Ｖ．Ｃｒｅａｔｉｎｇ ｓｕｍｍａｒｉｅｓ ｆｒｏｍ ｕｓｅｒ ｖｉｄｅｏｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＥＣＣＶ））；Ｓｐｒｉｎｇｅｒ，２０１５，ｐｐ．５０５－５２０． Ｙｏｏｎ，Ｕ，Ｎ．；Ｈｏｎｇ，Ｍ．Ｄ．；Ｊｏ，Ｇ．Ｓ．Ｉｎｔｅｒｐ－ＳＵＭ：Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｗｉｔｈ Ｐｉｅｃｅｗｉｓｅ Ｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ．Ｓｅｎｓｏｒｓ ２０２１．ｖｏｌ．２１，ｎｏ．１３，４５６２． Ａｐｏｓｔｏｌｉｄｉｓ，Ｅ．；Ａｄａｍａｎｔｉｄｏｕ，Ｅ．；Ｍｅｔｓａｉ，Ａ．；Ｍｅｚａｒｉｓ，Ｖ．；Ｐａｔｒａｓ，Ｉ．Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｖｉａ Ａｔｔｅｎｔｉｏｎ－Ｄｒｉｖｅｎ Ａｄｖｅｒｓａｒｉａｌ Ｌｅａｒｎｉｎｇ．Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｍｏｄｅｌｉｎｇ（ＭＭＭ）；Ｓｐｒｉｎｇｅｒ：Ｄａｅｊｅｏｎ，Ｋｏｒｅａ，５－８ Ｊａｎｕａｒｙ ２０２０，ｐｐ．４９２－５０４． Ｊｕｎｇ，Ｙ．Ｊ．；Ｃｈｏ，Ｄ．Ｙ．；Ｋｉｍ，Ｄ．Ｈ．；Ｗｏｏ，Ｓ．Ｈ．；Ｋｗｅｏｎ，Ｉ．Ｓ．Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｆｅａｔｕｒｅ ｌｅａｒｎｉｎｇ ｆｏｒ ｕｎｓｕｐｅｒｖｉｓｅｄ ｖｉｄｅｏ ｓｕｍｍａｒｉｚａｔｉｏｎ．ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｈｏｎｏｌｕｌｕ，Ｈａｗａｉｉ，ＵＳＡ，２７ Ｊａｎｕａｒｙ－１ Ｆｅｂｒｕａｒｙ ２０１９，ｐｐ．８５３７－８５４４。 Ｚｈｏｕ，Ｋ．；Ｑｉａｏ，Ｙ．；Ｘｉａｎｇ，Ｔ．Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｗｉｔｈ Ｄｉｖｅｒｓｉｔｙ－Ｒｅｐｒｅｓｅｎｔａｔｉｖｅｎｅｓｓ Ｒｅｗａｒｄ．ＡＡＡＩ Ｃｏｎｆ．Ａｒｔｉｆ．Ｉｎｔｅｌｌ．２０１８，３２，７５８２－７５８９． Ｓｏｎｇ，Ｙ．；Ｖａｌｌｍｉｔｊａｎａ，Ｊ．；Ｓｔｅｎｔ，Ａ．；Ｊａｉｍｅｓ，Ａ．Ｔｖｓｕｍ：Ｓｕｍｍａｒｉｚｉｎｇ ｗｅｂ ｖｉｄｅｏｓ ｕｓｉｎｇ ｔｉｔｌｅｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｂｏｓｔｏｎ，ＭＡ，ＵＳＡ，７－１２ Ｊｕｎｅ ２０１５，ｐｐ．５１７９－５１８７． Ｆｅｎｇ，Ｌ．；Ｌｉ，Ｚ．；Ｋｕａｎｇ，Ｚ．；Ｚｈａｎｇ，Ｗ．Ｅｘｔｒａｃｔｉｖｅ Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚｅｒ ｗｉｔｈ Ｍｅｍｏｒｙ Ａｕｇｍｅｎｔｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ．ＭＭ，Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ，２２－２６ Ｏｃｔｏｂｅｒ ２０１８，ｐｐ．９７６－９８３． Ｚｈａｎｇ，Ｋ．；Ｃｈａｏ，Ｗ．Ｌ．；Ｓｈａ，Ｆ．；Ｇｒａｕｍａｎ，Ｋ．Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｗｉｔｈ Ｌｏｎｇ Ｓｈｏｒｔ－ｔｅｒｍ Ｍｅｍｏｒｙ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＥＣＣＶ）；Ｓｐｒｉｎｇｅｒ：Ａｍｓｔｅｒｄａｍ，Ｎｅｔｈｅｒｌａｎｄｓ，２０１６；ｐｐ．７６６－７８２． Ｚｈａｎｇ，Ｙ．；Ｋａｍｐｆｆｍｅｙｅｒ，Ｍ．；Ｚｈａｏ，Ｘ．；Ｔａｎ，Ｍ．ＤＴＲ－ＧＡＮ：Ｄｉｌａｔｅｄ Ｔｅｍｐｏｒａｌ Ｒｅｌａｔｉｏｎａｌ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ Ｔｕｒｉｎｇ Ｃｅｌｅｂｒａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（ＡＣＭ ＴＵＲＣ），Ｓｈａｎｇｈａｉ，Ｃｈｉｎａ，１８ Ｍａｙ ２０１８． Ｊｉ．Ｚ．；Ｘｉｏｎｇ．Ｋ．；Ｐａｎｇ．Ｙ．；Ｌｉ．Ｘ．Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｗｉｔｈ Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ Ｎｅｔｗｏｒｋｓ．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｃｉｒｃｕｉｔｓ ａｎｄ ｓｙｓｔｅｍｓ ｆｏｒ ｖｉｄｅｏ ｔｅｃｈｎｏｌｏｇｙ，Ｊｕｎｅ ２０２０，ｖｏｌ．３０，ｎｏ．６．ｐｐ．１７０９－１７１７． Ｍａｈａｓｓｅｎｉ，Ｂ．；Ｌａｍ，Ｍ．；Ｔｏｄｏｒｏｖｉｃ，Ｓ．Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｗｉｔｈ Ａｄｖｅｒｓａｒｉａｌ ＬＳＴＭ Ｎｅｔｗｏｒｋｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｈｏｎｏｌｕｌｕ、Ｈａｗａｉｉ，ＵＳＡ，２２－２５ Ｊｕｌｙ ２０１７，ｐｐ．２０２－２１１． Ｙｕａｎ，Ｌ．；Ｔａｙ，Ｆ．Ｅ．；Ｌｉ，Ｐ．；Ｚｈｏｕ，Ｌ．；Ｆｅｎｇ，Ｆ．Ｃｙｃｌｅ－ＳＵＭ：Ｃｙｃｌｅ－ｃｏｎｓｉｓｔｅｎｔ Ａｄｖｅｒｓａｒｉａｌ ＬＳＴＭ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｈｉｒｔｙ－Ｔｈｉｒｄ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｈｏｎｏｌｕｌｕ，Ｈａｗａｉｉ，ＵＳＡ，２７ Ｊａｎ－１ Ｆｅｂ ２０１９，Ｖｏｌｕｍｅ ３３，ｐｐ．９１４３－９１５０． Ｋａｕｆｍａｎ，Ｄ．；Ｌｅｖｉ，Ｇ．；Ｈａｓｓｎｅｒ，Ｔ．；Ｗｏｌｆ，Ｌ．Ｔｅｍｐｏｒａｌ Ｔｅｓｓｅｌｌａｔｉｏｎ：Ａ Ｕｎｉｆｉｅｄ Ａｐｐｒｏａｃｈ ｆｏｒ Ｖｉｄｅｏ Ａｎａｌｙｓｉｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ），２０１７，ｐｐ．９４－１０４． Ｒｏｃｈａｎ，Ｍ．；Ｙｅ，Ｌ．；Ｗａｎｇ，Ｙ．Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ Ｕｓｉｎｇ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｅｑｕｅｎｃｅ Ｎｅｔｗｏｒｋｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕ－ｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＥＣＣＶ）；Ｓｐｒｉｎｇｅｒ：Ｍｕｎｉｃｈ，Ｇｅｒｍａｎｙ，２０１８，ｐｐ．３４７－３６３． Ｓｉｌｖｅｒ，Ｄ．；Ｌｅｖｅｒ，Ｇ．；Ｈｅｅｓｓ，Ｎ．；Ｄｅｇｒｉｓ，Ｔ．；Ｗｉｅｒｓｔｒａ，Ｄ．；Ｒｉｅｄｍｉｌｌｅｒ，Ｍ．Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ Ａｌｇｏｒｉｔｈｍｓ．Ｉｎ Ｐｒｏ－ｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３１ｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ（ＩＣＭＬ），Ｂｅｉｊｉｎｇ，Ｃｈｉｎａ，２１－２６ Ｊｕｎｅ ２０１４，ｐｐ．３８７－３９５． Ｙｕ，Ｙ．Ｔｏｗａｒｄｓ Ｓａｍｐｌｅ Ｅｆｆｉｃｉｅｎｔ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｗｅｎｔｙ－Ｓｅｖｅｎｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎ－ｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＩＪＣＡＩ），Ｓｔｏｃｋｈｏｌｍ，Ｓｗｅｄｅｎ，１３－１９ Ｊｕｌｙ２０１８，ｐｐ．５７３９－５７４３． Ｌｅｈｎｅｒｔ，Ｌ．；Ｌａｒｏｃｈｅ，Ｒ．；Ｓｅｉｊｅｎ，Ｈ．Ｖ．Ｏｎ Ｖａｌｕｅ Ｆｕｎｃｔｉｏｎ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｌｏｎｇ Ｈｏｒｉｚｏｎ Ｐｒｏｂｌｅｍｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｈｉｒｔｙ－Ｓｅｃｏｎｄ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｎｅｗ Ｏｒｌｅａｎｓ，Ｌｏｕｉｓｉａｎａ，ＵＳＡ，２－７ Ｆｅｂ ２０１８，ｐｐ．３４５７－３４６５． Ｓｚｅｇｅｄｙ，Ｃ．；Ｌｉｕ，Ｗ．；Ｊｉａ，Ｙ．；Ｓｅｒｍａｎｅｔ，Ｐ．；Ｒｅｅｄ，Ｓ．；Ａｎｇｕｅｌｏｖ，Ｄ．；Ｅｒｈａｎ，Ｄ．；Ｖａｎｈｏｕｃｋｅ，Ｂ．；Ｒａｂｉｎｏｖｉｃｈ，Ａ．Ｇｏｉｎｇ ｄｅｅｐｅｒ ｗｉｔｈ ｃｏｎｖｏｌｕｔｉｏｎｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），Ｂｏｓｔｏｎ，ＭＡ，ＵＳＡ，７－１２ Ｊｕｎｅ ２０１５，ｐｐ．１－９． Ｌｕｏｎｇ．Ｔ．；Ｐｈａｍ．Ｈ．；Ｍａｎｎｉｎｇ Ｃ．Ｄ．；Ｅｆｆｅｃｔｉｖｅ Ａｐｐｒｏａｃｈｅｓ ｔｏ Ａｔｔｅｎｔｉｏｎ－ｂａｓｅｄ Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１５ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＥＭＮＬＰ），Ｌｉｓｂｏｎ，Ｐｏｒｔｕｇａｌ，１７－２１ Ｓｅｐｔｅｍｂｅｒ ２０１５，ｐｐ．１４１２－１４２１． Ｎａｃｈｕｍ，Ｏ．；Ｎｏｒｏｕｚｉ，Ｍ．；Ｓｃｈｕｕｒｍａｎｓ，Ｄ．Ｉｍｐｒｏｖｉｎｇ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ ｂｙ Ｅｘｐｌｏｒｉｎｇ Ｕｎｄｅｒ－Ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄｓ．ａｒＸｉｖ ２０１６，ａｒＸｉｖ：１６１１．０９３２１． Ｐｏｔａｐｏｖ，Ｄ．；Ｄｏｕｚｅ，Ｍ．；Ｈａｒｃｈａｏｕｉ，Ｚ．；Ｓｃｈｍｉｄ，Ｃ．；Ｃａｔｅｇｏｒｙ－ｓｐｅｃｉｆｃ ｖｉｄｅｏ ｓｕｍｍａｒｉｚａｔｉｏｎ．Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＥＣＣＶ），Ｚｕｒｉｃｈ，Ｓｗｉｔｚｅｒｌａｎｄ，Ｓｅｐ ２０１４，ｐｐ．５４０－５５５． Ｒｏｃｈａｎ，Ｍ．；Ｗａｎｇ，Ｙ．Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｂｙ Ｌｅａｒｎｉｎｇ ｆｒｏｍ Ｕｎｐａｉｒｅｄ Ｄａｔａ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）２０１９，ｐｐ．７９０２－７９１１．
本発明が達成しようとする技術的課題は、新たな時間的一貫性報酬関数および代表性報酬関数（ＴＲ－ＳＵＭ）を備えた強化学習基盤の映像要約フレームワーク、および重要度点数を正確に予測するためのアテンション基盤の映像要約方法および装置を提案することにある。より詳細には、長い映像のコンテキストを効率的にキャプチャするために、アテンション基盤のエンコーダ－デコーダアーキテクチャをもつ映像要約ネットワークおよび関心のあるキーフレームを効率的かつ均一に選択するための時間的一貫性報酬関数および代表性報酬関数である新たな報酬関数を提案する。
一側面において、本発明で提案する効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法は、フレームレベル映像特徴抽出モジュールによって入力映像からフレームレベル視覚的特徴を抽出する段階、アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す段階、評価モジュールによって前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する段階、前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階、前記選択されたキーフレームの重要度点数を利用して前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する段階、および前記計算された正規化および再構成損失に基づいて映像要約生成モジュールによって映像要約を生成する段階を含む。
前記アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す段階は、エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出し、前記エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、前記アテンション層ではエンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算し、前記アテンション加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化し、前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求め、前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記前記エンコーダネットワークの学習結果を利用して重要度点数を求める。
前記評価モジュールによってキーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する段階は、前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレーム同士の類似性を計算し、前記代表性報酬関数に基づいて映像要約のキーフレームを選択するための重要度点数を予測するように学習し、前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択するために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する。
前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階は、過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用し、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する。
また他の側面において、本発明で提案する効率的なキーフレーム選択報酬関数を備えた教師なし映像要約装置は、入力映像からフレームレベル視覚的特徴を抽出するフレームレベル映像特徴抽出モジュール、アテンション基盤の映像要約ネットワークによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す映像要約ネットワークモジュール、前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する評価モジュール、前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する方策勾配アルゴリズム基盤の学習モジュール（前記選択されたキーフレームの重要度点数を使用して、前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する）、前記計算された正規化および再構成損失に基づいて映像要約を生成する映像要約生成モジュール映像要約生成モジュールを含む。
本発明の実施形態によると、新たな時間的一貫性報酬関数および代表性報酬関数（ＴＲ－ＳＵＭ）を備えた強化学習基盤の映像要約フレームワークおよび重要度点数を正確に予測するためのアテンション基盤の映像要約方法および装置を提案する。提案する教師なし映像要約方法は、アテンション基盤のエンコーダ－デコーダアーキテクチャをもつ映像要約ネットワークによって長い映像のコンテキストを効率的にキャプチャすることができ、時間的一貫性報酬関数および代表性報酬関数である新たな報酬関数を利用することで関心のあるキーフレームを効率的かつ均一に選択することができる。
本発明の一実施形態における、アテンション基盤の映像要約ネットワークの概念を説明するための図である。 本発明の一実施形態における、時間一貫性報酬および代表性報酬関数を利用した強化学習基盤の映像要約フレームワークを示した図である。 本発明の一実施形態における、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約装置の構成を示した図である。 本発明の一実施形態における、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法を説明するためのフローチャートである。 本発明の一実施形態における、アテンション加重値を計算するためのアテンション基盤の映像要約ネットワークの構成を示した図である。 本発明の一実施形態における、代表性報酬関数を説明するための図である。 本発明の一実施形態における、時間的一貫性報酬関数を説明するための図である。
本発明は、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法を提案する。効率的なキーフレームの選択のために、新たな時間的一貫性報酬および代表性報酬関数（ＴＲ－ＳＵＭ）を備えた強化学習基盤の映像要約フレームワークを設計する。映像のキーフレームレベル重要度点数を予測するために、アテンション基盤のエンコーダ－デコーダアーキテクチャとして映像要約方法および装置を提案する。本発明の実施形態によると、重要度点数を使用して、関心のあるキーフレームを効率的かつ均一に選択するために役立つ報酬関数に基づいて報酬を計算する。以下、本発明の実施例について、添付の図面を参照しながら詳しく説明する。
図１は、本発明の一実施形態における、アテンション基盤の映像要約ネットワークの概念を説明するための図である。
本発明では、新たな時間的一貫性報酬および代表性報酬関数（ＴＲ－ＳＵＭ（ｖｉｄｅｏ ｓｕｍｍａｒｉｚａｔｉｏｎ ｆｒａｍｅｗｏｒｋ ｗｉｔｈ ｔｈｅ ｎｅｗ ｔｅｍｐｏｒａｌ ｃｏｎｓｉｓｔｅｎｃｙ ｒｅｗａｒｄ ａｎｄ ｒｅｐｒｅｓｅｎｔａｔｉｖｅｎｅｓｓ ｒｅｗａｒｄ ｆｕｎｃｔｉｏｎｓ））を備えた強化学習基盤の映像要約フレームワークを提案し、図１に示すように、重要度点数を正確に予測するためのアテンション基盤の映像要約ネットワークを提案する。
提案する教師なし映像要約方法は、アテンション基盤のエンコーダ－デコーダアーキテクチャをもつ映像要約ネットワークによって長い映像のコンテキストを効率的にキャプチャすることができ、時間的一貫性報酬関数および代表性報酬関数である新たな報酬関数を利用することで関心のあるキーフレームを効率的かつ均一に選択することができる。
映像要約方法は、教師あり学習基盤の方法と教師なし学習基盤の方法とに分けられる。２つの方法すべて、多数の使用者が注釈をつけた映像のフレームレベルまたはショットレベルの重要度点数を含む映像要約データセットを使用する（非特許文献２）。教師あり学習基盤の方法は、重要度点数を予測するための入力として映像のフレームレベルまたはショットレベル特徴を用いてモデルを学習する。この方法は、データセットを使用して、予測された重要度点数と注釈がついた重要度点数の差によって費用を計算する。また、このような方法は、最適のモデルを探索するための費用を最小化する。
非特許文献８では、メモリ増強映像要約方法が提案された。メモリネットワークは、全体映像から抽出した支援知識を効率的に提供する。現在は、ショットの重要度点数を予測するために、グローバルアテンションメカニズムを用いて元の映像に対する全体的な理解によって点数を調整する。非特許文献９では、学習の代表性と多様性のために、フレームをサンプリングする確率をエンコードする決定的点過程（Ｄｅｔｅｒｍｉｎａｎｔａｌ Ｐｏｉｎｔ Ｐｒｏｃｅｓｓ：ＤＰＰ）のあるＬＳＴＭ基盤のネットワークを提示した。非特許文献１０では、映像フレーム同士の時間的コンテキストの表現を強化するために、生成器の拡張時間関係（Ｄｉｌａｔｅｄ Ｔｅｍｐｏｒａｌ Ｒｅｌａｔｉｏｎａｌ：ＤＴＲ）装置を提示した。映像の最上の要約を予測するためのネットワークを学習させるために、敵対的学習方法を３－プレイヤ（ｔｈｒｅｅ－ｐｌａｙｅｒ）損失関数とともに使用する。非特許文献１１では、キーショット選択のための重要度点数を予測するために、アテンション基盤のエンコーダ－デコーダネットワークが提案された。このネットワークは、双方向ＬＳＴＭネットワークがあるエンコーダとアテンションメカニズムがあるデコーダを用いて映像表現を学習する。
しかし、教師あり学習基盤の方法は、多様なドメインの映像を含んでいるため、人間がラベリングした映像要約データセットを生成することが極めて難しいという問題を抱えている。この反面、教師なし学習基盤の方法は、人間がラベリングしたデータセットを必要としない。
非特許文献４で、アテンションオートエンコーダ（Ａｔｔｅｎｔｉｏｎ Ａｕｔｏｅｎｃｏｄｅｒ：ＡＡＥ）ネットワークは、ＳＵＭ－ＧＡＮで提案された敵対的オートエンコーダ（Ａｄｖｅｒｓａｒｉａｌ Ａｕｔｏｅｎｃｏｄｅｒ：ＡＡＥ）の学習の効率性と性能を高めるためにＳＵＭ－ＧＡＮでＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ）に替わる。ネットワークを学習させる間、映像を要約するための興味深いフレームに加重値を付与する。非特許文献５では、映像の要約を適切に予測するための映像のローカルおよびグローバルコンテキストを効率的に学習するために、ＶＡＥとＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）アーキテクチャを基盤としたＣＳＮｅｔ（Ｃｈｕｎｋ ａｎｄ Ｓｔｒｉｄｅ Ｎｅｔｗｏｒｋ）を提案した。非特許文献１２では、敵対的オートエンコーダ（ＡＡＥ）基盤の映像要約モデルが提案された。選択器ＬＳＴＭは、映像の入力フレームレベル特徴からフレームを選択する。この後、ＶＡＥは、選択したフレームを用いて再構成された映像を生成する。全体ネットワークを学習させるために、判別器は、再構成された映像と原本入力映像とを区別する。モデル学習には４つの損失関数が使用される。非特許文献１３ではＳＵＭ－ＧＡＮの変形であるＣｙｃｌｅ－ＳＵＭを提案したが、要約映像で原本映像の情報を保存するために２つのＶＡＥ基盤の生成器と２つの判別器がある周期敵対的生成網を採択した。非特許文献１４で提案された、テッセレーション接近方式を使用する映像要約方法は、視覚的に類似するクリップを探索し、グラフ基盤の方法であるＶｉｔｅｒｂｉアルゴリズムを使用して時間的一貫性を維持するクリップを選択する。非特許文献１５では教師なし学習基盤のＳＵＭ－ＦＣＮを提案した。このような方法は、映像シーケンスを処理するために、空間畳み込みで変換された時間畳み込みをもつ新たなＦＣＮアーキテクチャを提示する。この方法は、デコーダの出力点数を使用してフレームを選択し、要約映像でフレームの多様性を適用するためにリペリング（ｒｅｐｅｌｌｉｎｇ）正規化器によって損失関数を計算する。
深層強化学習は、深層ニューラルネットワークを強化学習方法と結合する（非特許文献１６）。方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）方法は、モデルがない強化学習方法のうちの１つである。方策勾配方法は、方策を深層ニューラルネットワークモデルにパラメータ化し、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ：ＳＧＤ）のような勾配降下方法を用いて、方策によって定義された状態分布に対する報酬を極大化してモデルを最適化する。モデルを学習させるために、この方法は、目的関数として費用を計算して最小化する。しかし、方策勾配方法には、低いサンプル効率性問題（非特許文献１７）と高い分散のようないくつかの問題を抱えている。特に、低いサンプル効率性の問題は、エージェントが人間ほど知能的でないため、環境（状態）において学習行動のための人間の経験のようなサンプルを人間よりも遥かに多く必要とするためである。他の問題は、推定された勾配の高分散である。この問題は、長い水平問題と高い次元の作用空間によって発生する（非特許文献１８）。長い水平の問題は、目標を達成するための長い一連の決定に対する極めて遅延した報酬から始まる。提案する方法では、分散を減らすために基準とともに方策勾配を使用し、サンプル効率性の問題を緩和するためにエピソード数を増やす。
図２は、本発明の一実施形態における、時間一貫性報酬および代表性報酬関数を利用した強化学習基盤の映像要約フレームワークを示した図である。
本発明では、映像要約ネットワークが予測した重要度点数（Ｉｍｐｏｒｔａｎｃｅ Ｓｃｏｒｅ）を用いて映像要約の問題をフレーム選択の問題として公式化する。特に、拡張された（ｄｉｌａｔｅｄ）ＧＲＵエンコーダとアテンションメカニズム（ａｔｔｅｎｔｉｏｎ ｍｅｃｈａｎｉｓｍ）があるＧＲＵデコーダネットワークを用いてネットワークを開発する。このネットワークは、映像表現を学習し、重要度点数をフレーム選択確率によって効率的に予測する。重要度点数は、図２に示すようにベルヌーイ分布（Ｂｅｒｎｏｕｉｉ Ｄｉｓｔｒｉｂｕｔｉｏｎ）を用いることで、要約からキーフレームを選択するためのフレーム選択動作に変換される。
図３は、本発明の一実施形態における、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約装置の構成を示した図である。
提案する効率的なキーフレーム選択報酬関数を備えた教師なし映像要約装置は、フレームレベル映像特徴抽出モジュール３１０、映像要約ネットワークモジュール３２０、評価モジュール３３０、方策勾配アルゴリズム基盤の学習モジュール３４０、および映像要約生成モジュール３５０を含む。
本発明の実施形態に係るフレームレベル映像特徴抽出モジュール３１０は、入力映像からフレームレベル視覚的特徴を抽出し、アテンション基盤の映像要約ネットワークモジュール３２０によってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す。
本発明の実施形態に係る映像要約ネットワークモジュール３２０は、エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出する。
本発明の実施形態に係る映像要約ネットワークモジュール３２０は、前記エンコーダネットワークはキーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、前記アテンション層ではエンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算する。
本発明の実施形態に係る映像要約ネットワークモジュール３２０は、前記アテンション加重値はソフトマックス関数によって各キーフレームの確率点数に正規化し、前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求める。
本発明の実施形態に係る映像要約ネットワークモジュール３２０は、前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記前記エンコーダネットワークの学習結果を利用して重要度点数を求める。
本発明の実施形態に係る評価モジュール３３０は、前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する。
本発明の実施形態に係る評価モジュール３３０は、前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレーム同士の類似性を計算し、前記代表性報酬関数によって映像要約のキーフレームを選択するための重要度点数を予測するように学習する。
本発明の実施形態に係る評価モジュール３３０は、前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択するために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する。
本発明の実施形態に係る方策勾配アルゴリズム基盤の学習モジュール３４０は、前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する。
本発明の実施形態に係る方策勾配アルゴリズム基盤の学習モジュール３４０は、過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用し、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する。
本発明の実施形態に係る映像要約ネットワークモジュール３２０は、前記選択されたキーフレームの重要度点数を使用して、キーフレームを選択する確率を制御するための正規化および再構成損失を計算する。本発明の実施形態に係る映像要約生成モジュール３５０は、前記計算された正規化および再構成損失に基づいて映像要約を生成する。
図４は、本発明の一実施形態における、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法を説明するためのフローチャートである。
提案する、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法は、フレームレベル映像特徴抽出モジュールによって入力映像からフレームレベル視覚的特徴を抽出する段階４１０、アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す段階４２０、評価モジュールによって前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する段階４３０、前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階４４０、前記選択されたキーフレームの重要度点数を用いて前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する段階４２０、および前記計算された正規化および再構成損失に基づいて映像要約生成モジュールによって映像要約を生成する段階４５０を含む。
段階４１０で、フレームレベル映像特徴抽出モジュールによって入力映像からフレームレベル視覚的特徴を抽出する。
段階４２０で、アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す。
本発明の実施形態によると、エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出する。
前記エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、前記アテンション層ではエンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算する。
前記アテンション加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化し、前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求める。
前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記前記エンコーダネットワークの学習結果を利用して重要度点数を求める。
段階４３０で、評価モジュールによってキーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する。
前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレームの類似性を計算し、前記代表性報酬関数によって映像要約のキーフレームを選択するための重要度点数を予測するように学習する。
前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択するために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する。
段階４４０で、前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する。
本発明の実施形態によると、過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用し、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する。
再び段階４２０で、前記選択されたキーフレームの重要度点数を用いて映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算し、段階４５０で、前記計算された正規化および再構成損失に基づいて映像要約生成モジュールによって映像要約を生成する。
図５～７を参照しながら、効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法についてさらに詳しく説明する。
図５は、本発明の一実施形態における、アテンション加重値を計算するためのアテンション基盤の映像要約ネットワークの構成を示した図である。
先ず、ＩｍａｇｅＮｅｔデータセットによって学習された強力な深層畳み込みニューラルネットワークであるＧｏｏｇｌｅＮｅｔ（非特許文献１９）を使用して、入力映像からフレームレベル視覚的特徴
を抽出する。特徴の抽出は、フレームイメージの視覚的特性を低次元特徴ベクトルで捕捉するのに重要となる。また、抽出された特徴は、映像のフレーム同士の視覚的な差を効率的に計算するのに役立つ。
本発明では、図５に示すように、キーフレームレベルの重要度点数を予測するためのアテンション基盤の映像要約ネットワークを提案する。アテンション基盤要約ネットワークは、エンコーダネットワーク５１０、デコーダネットワーク５２０、および２つのネットワークの間のアテンション層（Ａｔｔｅｎｔｉｏｎ Ｌａｙｅｒ）で構成される。このネットワークは、ＳＵＭ－ＧＡＮＡＡＥ方法に対して提案されたアテンションオートエンコーダ（非特許文献４）でＬＳＴＭネットワークを拡張繰り返しニューラルネットワーク（Ｄｉｌａｔｅｄ ＲＮＮ）に替え、ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）ネットワークをデコーダに替えることでアテンションオートエンコーダを改善する。拡張ＲＮＮは、より少ないパラメータと計算効率性の向上のために拡張スキップ連結とともに実現される。特に、ネットワークは、拡張された繰り返し層を積み、層全体にわたって拡張を幾何級数的に増加させることで複雑な時間依存性を抽出する。また、拡張ＲＮＮの層としてＧＲＵセルを使用する。エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャする。アテンション層では、エンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算する。アテンション加重値を計算するために、非特許文献２０で提案されたアテンションメカニズムを利用する。特に、数式（１）で説明するように、エンコーダネットワークＥｏｕｔの出力とデコーダネットワークｈｔ－１の以前の隠れ状態でアテンション加重値を計算するためにコンテンツ基盤の点数関数を使用する。ｔ＝１であるときに、デコーダネットワークｈの出力を０に設定する。Ｗａは、学習可能なパラメータであるアテンション加重値マトリックスである。
・・・（１）
次に、加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化される。アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルＣを求める。
デコーダネットワークＤｉｎの入力のために、コンテキストベクトルと０に初期化されたデコーダネットワークの以前の出力を連結し、デコーダネットワークを学習させる。
この後、出力Ｄｏｕｔを取得し、エンコーダネットワークによって学習された豊富な情報を再使用するためにＥｏｕｔと連結することで、長いシーケンスの映像に対する性能を高める。そして、線形関数とともに、次の段階ｔ＋１でデコーダネットワークに伝達するための特徴の大きさの次元を減らす。最後に、全結合層およびシグモイド関数を用いて出力の次元を減らし、重要度点数
で出力を生成する。すなわち、重要度点数は、映像の要約としてキーフレームを選択するためのフレーム追跡確率（０．ｔｏ １．）である。
図６は、本発明の一実施形態における、代表性報酬関数を説明するための図である。
本発明の実施形態に係る効率的な映像要約のために非特許文献６の多様性報酬関数を採択しながら、効率的なキーフレーム選択のための２つ新たな報酬を提案する。提案された報酬関数は、キーフレーム同士の視覚的類似性距離と時間的距離を考慮した時間的一貫性報酬関数と代表性報酬関数である。
多様性報酬関数Ｒｄｉｖ数式（２）は、抽出された特徴とともにフレーム選択作業によって選択されたキーフレーム同士の差を計算する。この報酬関数に基づき、ネットワークは、要約のキーフレームから多様なフレームを選択するための重要度点数を予測するように学習される。このようなキーフレームで構成された要約は、映像の内容を容易に把握できるようにする。映像のストーリーラインを維持しながら演算の複雑性を減らすために、選択されたキーフレーム同士の差を計算するための時間距離を２０に制限する。この制限がなければ、フラッシュバック場面や類似する場面が選択したキーフレームと遠く離れていても、多様なフレームを選択するときにこのような場面を無視することができる。
選択されたキーフレームの指数を
とする。多様性報酬関数は次のとおりとなる。
・・・（２）
代表性報酬関数Ｒｒｅｐ数式（３）は、抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレームの類似性を計算する。この報酬関数に基づいて、ネットワークは、映像を示す要約のキーフレームを選択するための重要度点数を予測するように学習される。キーフレームで構成された要約は、映像の主題を容易に把握できるようにする。本発明では、映像の要約を適切に生成して性能を高めるために、数式（３）で示すＤ×ｓｔのように、代表性報酬関数として重要度点数Ｓを適用する新たな技法を提示する。ネットワークを学習させるためには、代表性報酬関数を増やし、報酬関数で距離Ｄ数式（４）を最小化しなければならない。
・・・（３）
・・・（４）
図６を参照すると、Ａは、選択されたキーフレームとすべてのキーフレームとの距離が長い例であり、Ｂは、選択されたキーフレームとすべてのキーフレームとの距離が短い例である。キーフレームの重要度点数Ｓが高ければ、要約としてキーフレームを選択することができる。この反面、キーフレームの重要度点数が低ければ、要約としてキーフレームが選択される確率は低くなる。ＡとＢはすべてＤ×Ｓの平均値であり、図６に示すように
は
よりも高いため、提案された報酬関数を基準にＢよりもＡに対する報酬がより低い。
重要度点数を使用するトリックの効果を説明する３つの事例がある。
１．キーフレームの距離Ｄが短い場合、重要度点数が変更しても報酬関数が高い報酬を返還する。
２．キーフレームの距離Ｄが長くてキーフレームの重要度点数Ｓが高ければ、報酬関数が低い報酬を返還する。また、低い報酬でネットワークを学習させた後、選択を阻むために、ネットワークはキーフレームの重要度が低い点数を予測する。
３．キーフレームの距離Ｄが長くてキーフレームの重要度点数Ｓが低ければ、報酬関数が中間報酬を返還する。しかし、キーフレームのほとんどは重要度点数が低いため、要約に選定されないであろう。
図７は、本発明の一実施形態における、時間的一貫性報酬関数を説明するための図である。
代表的なショットレベルキーフレームを効率的かつ均一に選択するために、時間的一貫性報酬関数Ｒｃｏｎ数式（６）が提案される。
図７に示すように、先ずは
の
のような選択されたキーフレームと
の他のフレームとの類似性を計算した後、自身を除いて最も類似するフレーム
を選択する。
時間的一貫性報酬について説明するために、図７のＢに含まれたキーフレームのような代表的なキーフレームが周辺フレームの周りに類似する場面をもつと定義する。この反面、図７のＡに含まれたキーフレームは、選択したキーフレームと一時的に距離が遠い類似の場面をもっている。演出者が意図したストーリーラインにより、Ａに含まれたキーフレームと類似する場面は少し後に登場することもあるし、一回だけ示されることもある。しかし、Ａに含まれたキーフレームの問題は、これらで生成された要約が映像コンテンツに対する使用者の理解を妨げるという点にある。したがって、要約からこのキーフレームを取り除く。このようなキーフレームを取り除くことによる他の長所は、一側だけで過度に選択される問題を防ぐことができるという点にある。すなわち、キーフレームを均一に選択することができるのである。本発明では、すべてのキーフレームの数
まで、すべてのキーフレーム
から選択したキーフレーム
のうちから最も近い隣りを見つけ出す過程を繰り返す。本発明では、
と
との距離を最小化することによって要約の時間的一貫性を学習することができる。距離を最小化するために、報酬関数を次のように計算する。
・・・（５）
・・・（６）
このような報酬を正規化するために、距離を
で割ってログ確率を使用する。
キーフレームを要約として選択するために、重要度点数Ｓをフレーム追跡動作
に変換するための離散確率分布であるベルヌーイ分布を使用する。フレームのフレーム選択動作が１であれば、このキーフレームを要約として選択する。ベルヌーイ分布は、フレーム選択動作の変形をランダムに生成するため、映像の多様な要約に対する探索を促進する。
・・・（７）
また、生成された要約の品質を報酬の合計で評価する。この報酬により、アテンション基盤の映像要約ネットワークを、方策勾配方法を用いてパラメータ化された方策で学習する。方策勾配は、勾配降下アルゴリズムを用いてより効率的な要約を得るために行動戦略を探索するための強化学習方法のうちの１つである。行動戦略の不足を防ぐために、過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用する（非特許文献２１）。方策下で動作
のログ確率
が報酬
を過小評価する場合、該当の動作は探索戦略によってより探求されるであろう。

の目的関数を計算するために、エピソード
に動作と報酬のログ確率を維持する。
は、ＲＡＭＬ（Ｒｅｗａｒｄ Ａｕｇｍｅｎｔｅｄ Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ）目的関数の合計である報酬
の期待値である。本発明では、ＲＡＭＬ目標関数の近似値のために、ソフトマックス関数を用いて各エピソードｊに対する報酬の正規化された重要度加重値集合を計算する。
・・・（８）
本発明では、勾配推定値の分散を減らして計算効率性を高めるために、方策勾配に重要な技術である基準を用いる。基準は、今まで経験した報酬の移動平均で計算される。多様な映像の移動平均を用いて多様性を改善するために、以下のように各映像ｂ１に対する基準とすべての映像ｂ２に対する基準を合算して基準を計算する。最後に、ネットワークを学習させるための費用としてＬｒｗｄを極大化する。
・・・（９）
・・・（１０）
本発明では、重要度点数を用いてキーフレームを選択する確率を制御するために、非特許文献６で提案された正規化タームＬｒｅｇを使用する。重要度点数のほとんどが１か０に近ければ、誤ったキーフレームを要約して選択する確率が高まる。したがって、学習中に重要度点数を０．５に近くするときにＬｒｅｇを用いる。重要度点数が０．５に早く収斂されることを防ぐために、これに０．０１を掛ける。
・・・（１１）
すべての損失関数を計算した後、映像要約Ｌｓｕｍｍａｒｙに対する最終損失を計算して逆伝播を実行する。
・・・（１２）
アルゴリズム１は、方策勾配方法を用いた教師なし映像要約ネットワークの学習手順に関するものである。

本発明の実施形態によると、アテンション基盤の映像要約ネットワークをテストするために、ショット内のフレームレベルの重要度点数を平均化してショットレベルの重要度点数を計算する。他の方法の性能と比べるためには、映像のショットレベルの重要度点数が必要となる。ショットを感知するために、ショットの境界のような変更地点を感知するＫＴＳ（Ｋｅｒｎｅｌ Ｔｅｍｐｏｒａｌ Ｓｅｇｍｅｎｔａｔｉｏｎ）方法を使用する（非特許文献２２）。要約を生成するために、映像の長さの上位１５％に該当する主要ショットを点数で整列して選択する。この段階は、非特許文献６で説明した要約映像の重要性を最大化するための‘０－１ Ｋｎａｐｓａｃｋ問題と同じ概念である。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置（ｖｉｒｔｕａｌ ｅｑｕｉｐｍｅｔｎ）、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよいし、コンピュータソフトウェアの当業者に公知な使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
３１０：フレームレベル映像特徴抽出モジュール
３２０：映像要約ネットワークモジュール
３３０：評価モジュール
３４０：方策勾配アルゴリズム基盤の学習モジュール
３５０：映像要約生成モジュール

Claims (8)

  1. フレームレベル映像特徴抽出モジュールによって入力映像からフレームレベル視覚的特徴を抽出する段階、
    アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す段階、
    評価モジュールによって前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する段階、
    前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階、
    前記選択されたキーフレームの重要度点数を用いて前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する段階、および
    前記計算された正規化および再構成損失に基づいて映像要約生成モジュールによって映像要約を生成する段階
    を含む、アテンション基盤の映像要約方法。
  2. 前記アテンション基盤の映像要約ネットワークモジュールによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す段階は、
    エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出し、
    前記エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、
    前記アテンション層では、エンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算し、
    前記アテンション加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化し、
    前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求め、
    前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記エンコーダネットワークの学習結果を利用して重要度点数を求める
    請求項１に記載のアテンション基盤の映像要約方法。
  3. 前記評価モジュールによってキーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する段階は、
    前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレームの類似性を計算し、前記代表性報酬関数を利用して映像要約のキーフレームを選択するための重要度点数を予測するように学習し、
    前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択する
    ために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する
    請求項１に記載のアテンション基盤の映像要約方法。
  4. 前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、方策勾配アルゴリズム基盤の学習モジュールによって前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する段階は、
    過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用して、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する
    請求項１に記載のアテンション基盤の映像要約方法。
  5. 入力映像からフレームレベル視覚的特徴を抽出するフレームレベル映像特徴抽出モジュール、
    アテンション基盤の映像要約ネットワークによってアテンション加重値を計算し、前記アテンション加重値を利用してキーフレームを選択するためのフレーム追跡確率として重要度点数を示す映像要約ネットワークモジュール、
    前記キーフレームを選択するためのキーフレーム同士の視覚的類似性距離と時間的距離による時間的一貫性報酬関数と代表性報酬関数を求め、時間的一貫性報酬関数と代表性報酬関数を利用してアテンション基盤の映像要約ネットワークが映像要約のキーフレームを選択するための重要度点数を予測するように学習する評価モジュール、
    前記予測された重要度点数によって該当のキーフレームを選択して映像要約を生成し、生成された映像要約の品質を評価し、前記アテンション基盤の映像要約ネットワークに対する方策勾配（Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）学習を実行する方策勾配アルゴリズム基盤の学習モジュール（前記選択されたキーフレームの重要度点数を用いて前記映像要約ネットワークモジュールによってキーフレームを選択する確率を制御するための正規化および再構成損失を計算する）、および
    前記計算された正規化および再構成損失に基づいて映像要約を生成する映像要約生成モジュール
    を含む、アテンション基盤の映像要約装置。
  6. 前記映像要約ネットワークモジュールは、
    エンコーダネットワーク、デコーダネットワーク、および前記エンコーダネットワークとデコーダネットワークの間のアテンション層において、拡張ＲＮＮによってパラメータと計算を減少させて時間依存性を抽出し、
    前記エンコーダネットワークは、キーフレーム同士のローカルおよびグローバルコンテキストと視覚的類似性をキャプチャし、
    前記アテンション層では、エンコーダネットワークの出力と以前のデコーダネットワークの隠れ状態の両方を用いてアテンション加重値を計算し、
    前記アテンション加重値は、ソフトマックス関数に基づいて各キーフレームの確率点数に正規化し、
    前記アテンション加重値を用いてエンコーダネットワークの出力に掛けてコンテキストベクトルを求め、
    前記デコーダネットワークの入力のためにコンテキストベクトルと初期化されたデコーダネットワークの以前の出力を連結して前記デコーダネットワークを学習し、前記デコーダネットワークおよび前記エンコーダネットワークの学習結果を利用して重要度点数を求める
    請求項５に記載のアテンション基盤の映像要約装置。
  7. 前記評価モジュールは、
    前記代表性報酬関数を利用して抽出された特徴を用いて選択したキーフレームと映像のすべてのキーフレームの類似性を計算し、前記代表性報酬関数を利用して映像要約のキーフレームを選択するための重要度点数を予測するように学習し、
    前記時間的一貫性報酬関数を利用して代表的なショットレベルキーフレームを選択するために、すべてのキーフレームに対して選択されたキーフレームのうちから最も近い隣りを見つけ出す過程を繰り返し学習する
    請求項５に記載のアテンション基盤の映像要約装置。
  8. 前記方策勾配アルゴリズム基盤の学習モジュールは、
    過小評価報酬（Ｕｎｄｅｒ－ａｐｐｒｅｃｉａｔｅｄ Ｒｅｗａｒｄ：ＵＲＥＸ）方法を探索する探索戦略の目的関数を使用し、目標関数の近似値のためにソフトマックス関数を用いて各エピソードに対する報酬の正規化された重要度加重値集合を計算することによってパラメータ化された方策勾配学習を実行する
    請求項５に記載のアテンション基盤の映像要約装置。
JP2022072173A 2022-03-02 2022-04-26 効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法および装置 Active JP7378172B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220026671A KR102851323B1 (ko) 2022-03-02 2022-03-02 효율적인 키프레임 선택 보상 함수를 갖춘 비지도 비디오 요약 방법 및 장치
KR10-2022-0026671 2022-03-02

Publications (2)

Publication Number Publication Date
JP2023129179A JP2023129179A (ja) 2023-09-14
JP7378172B2 true JP7378172B2 (ja) 2023-11-13

Family

ID=87850828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022072173A Active JP7378172B2 (ja) 2022-03-02 2022-04-26 効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法および装置

Country Status (3)

Country Link
US (1) US11756300B1 (ja)
JP (1) JP7378172B2 (ja)
KR (1) KR102851323B1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503784A (zh) * 2023-05-05 2023-07-28 天津大学 一种基于深度动态语义关联的短视频事件检测方法及系统
CN119676530A (zh) * 2023-09-20 2025-03-21 北京字跳网络技术有限公司 一种视频描述生成方法、装置、电子设备及存储介质
CN118278295B (zh) * 2024-06-04 2024-08-09 南京信息工程大学 一种基于谷歌足球模拟器的强化学习方法
CN118968609B (zh) * 2024-06-24 2025-07-22 北京邮电大学 一种基于关键帧选择的多路径网络的人体行为识别方法
CN119376360B (zh) * 2024-10-28 2025-10-21 新疆特变电工楼兰新能源有限公司 基于智能ai视觉识别的dcs预警方法及系统
CN119849595B (zh) * 2024-11-26 2025-10-31 浙江大学 一种面向视觉生成式反绎学习的元规则选择策略学习方法
CN119625619B (zh) * 2024-12-09 2026-02-13 云南大学 一种多流特征融合引导强化学习的交通事故关键帧抽取方法及其系统
CN119884416B (zh) * 2024-12-27 2025-10-21 重庆邮电大学 一种时空特征重要性感知的文本视频检索方法
CN120014512B (zh) * 2025-01-20 2025-09-09 江苏经贸职业技术学院 一种基于内存计算的视频流数据动态处理方法及系统
CN120298956B (zh) * 2025-06-06 2025-08-08 石家庄铁道大学 基于全局记忆检索与双流动态融合的视频摘要生成方法
CN121233812B (zh) * 2025-12-01 2026-03-03 石家庄铁道大学 一种层次化跨模态交互的无监督视频摘要生成方法
CN121616808A (zh) * 2026-01-29 2026-03-06 浙江工业大学 一种肠道胶囊内镜视频溃疡片段自动定位方法、计算机设备及系统
CN121597863B (zh) * 2026-01-29 2026-04-03 石家庄铁道大学 基于双层路由稀疏注意力和空间像素重标定的视频摘要生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885728A (zh) 2019-01-16 2019-06-14 西北工业大学 基于元学习的视频摘要方法
JP2021060874A (ja) 2019-10-08 2021-04-15 国立大学法人 東京大学 動画要約装置、動画要約方法及び動画要約プログラム
JP2022169009A (ja) 2021-04-27 2022-11-09 国立大学法人 東京大学 プログラム、情報処理方法及び情報処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8654255B2 (en) * 2007-09-20 2014-02-18 Microsoft Corporation Advertisement insertion points detection for online video advertising
US8599316B2 (en) * 2010-05-25 2013-12-03 Intellectual Ventures Fund 83 Llc Method for determining key video frames
US8774528B2 (en) * 2010-09-24 2014-07-08 Kodak Alaris Inc. Method of selecting important digital images
KR20160127618A (ko) * 2015-04-27 2016-11-04 삼성전자주식회사 영상의 중요도를 검출하는 전자 장치 및 그 동작 방법
US11354906B2 (en) * 2020-04-13 2022-06-07 Adobe Inc. Temporally distributed neural networks for video semantic segmentation
KR102247915B1 (ko) * 2020-07-24 2021-05-04 인하대학교 산학협력단 부분구간 선형 보간법을 이용한 비지도 비디오 요약을 위한 강화 학습
US11582485B1 (en) * 2021-12-10 2023-02-14 Mitsubishi Electric Research Laboratories, Inc. Scene-aware video encoder system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885728A (zh) 2019-01-16 2019-06-14 西北工业大学 基于元学习的视频摘要方法
JP2021060874A (ja) 2019-10-08 2021-04-15 国立大学法人 東京大学 動画要約装置、動画要約方法及び動画要約プログラム
JP2022169009A (ja) 2021-04-27 2022-11-09 国立大学法人 東京大学 プログラム、情報処理方法及び情報処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Zhong JI et al.，"Deep Attentive Video Summarization With Distribution Consistency Learning"，IEEE Transactions on Neural Networks and Learning Systems，Vol. 32，No. 4，2020年05月11日，p.1765-1775，DOI: 10.1109/TNNLS.2020.2991083

Also Published As

Publication number Publication date
KR102851323B1 (ko) 2025-08-27
US11756300B1 (en) 2023-09-12
JP2023129179A (ja) 2023-09-14
US20230281991A1 (en) 2023-09-07
KR20230129724A (ko) 2023-09-11

Similar Documents

Publication Publication Date Title
JP7378172B2 (ja) 効率的なキーフレーム選択報酬関数を備えた教師なし映像要約方法および装置
Zhu et al. A comprehensive study of deep video action recognition
Apostolidis et al. Video summarization using deep neural networks: A survey
Jung et al. Discriminative feature learning for unsupervised video summarization
Zhou et al. Deep reinforcement learning for unsupervised video summarization with diversity-representativeness reward
Zhao et al. TTH-RNN: Tensor-train hierarchical recurrent neural network for video summarization
Tang et al. Deep unsupervised key frame extraction for efficient video classification
Zhao et al. Audiovisual video summarization
Pan et al. Hierarchical recurrent neural encoder for video representation with application to captioning
Yang et al. Multilayer and multimodal fusion of deep neural networks for video classification
Zhou et al. Adaptive temporal encoding network for video instance-level human parsing
Vu et al. Teaching yourself: A self-knowledge distillation approach to action recognition
Fu et al. Self-attention binary neural tree for video summarization
Lal et al. Online video summarization: Predicting future to better summarize present
Tan et al. Selective dependency aggregation for action classification
Zhu et al. Depth2action: Exploring embedded depth for large-scale action recognition
Chen et al. Video summarization with u-shaped transformer
Gupta et al. A comprehensive study of automatic video summarization techniques
Li et al. Meta learning for task-driven video summarization
Qi et al. Few-shot ensemble learning for video classification with slowfast memory networks
Li et al. Learning hierarchical video representation for action recognition
Zhang et al. Contextual correspondence matters: Bidirectional graph matching for video summarization
Cerekovic A deep look into group happiness prediction from images
Zhang et al. Local compressed video stream learning for generic event boundary detection
Arafat et al. Capturing spatiotemporal dependencies with competitive set attention for video summarization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231024

R150 Certificate of patent or registration of utility model

Ref document number: 7378172

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150