JP7420246B2 - 映像処理装置、映像処理方法、及び、プログラム - Google Patents
映像処理装置、映像処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP7420246B2 JP7420246B2 JP2022527350A JP2022527350A JP7420246B2 JP 7420246 B2 JP7420246 B2 JP 7420246B2 JP 2022527350 A JP2022527350 A JP 2022527350A JP 2022527350 A JP2022527350 A JP 2022527350A JP 7420246 B2 JP7420246 B2 JP 7420246B2
- Authority
- JP
- Japan
- Prior art keywords
- importance
- person
- video
- important scene
- important
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 239000000463 material Substances 0.000 claims description 151
- 238000004364 calculation method Methods 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 51
- 238000000605 extraction Methods 0.000 claims description 33
- 238000009825 accumulation Methods 0.000 claims description 16
- 230000010354 integration Effects 0.000 description 12
- 239000000284 extract Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
- G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、映像データの処理に関する。
ＴＶのニュース番組やスポーツ番組においては、野球やサッカーなどのスポーツの試合のハイライトシーンを集めたダイジェスト映像が放送されている。これまで、このようなダイジェスト映像は、そのスポーツに詳しい編集者などにより生成されてきたが、近年は、試合の映像からダイジェスト映像を自動的に生成する手法も提案されている。例えば、特許文献１には、予め準備されたトレーニング動画像及びユーザが指定した重要シーン動画像から学習データファイルを作成し、当該学習データファイルに基づき、対象の動画像から重要シーンの検出を行うハイライト抽出装置が開示されている。
上記のように自動的にスポーツの試合のダイジェスト映像が生成される場合、その試合における選手の活躍の評価には、試合で記録される成績の数値が用いられていた。例えば、野球の試合における活躍度は、打者であればヒット数、ホームラン数、打率などで評価され、投手であれば防御率、失点、三振数などで評価されていた。しかし、この場合、例えば決定的な得点を防いだファインプレーなど、貢献度が高いにも拘わらず得点などの数値には表れないプレイを評価することが困難であった。
本発明の１つの目的は、スポーツ映像などに基づいて、成績を示す数値に表れないプレイなども考慮して選手の活躍度を評価することが可能な映像処理装置を提供することにある。
本発明の一つの観点では、映像処理装置は、
素材映像を取得する映像取得手段と、
前記素材映像から人物を特定する人物特定手段と、
前記素材映像の重要度を算出する重要度算出手段と、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算手段と、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出手段と、
を備え、
前記人物特定手段は、前記重要シーンにおいて人物を特定し、
前記重要度積算手段は、前記重要シーンにおいて特定された人物について、当該重要シーンにおける前記重要度を積算して前記人物重要度を出力する。
また、本発明の他の観点では、映像処理装置は、
素材映像を取得する映像取得手段と、
前記素材映像から人物を特定する人物特定手段と、
前記素材映像の重要度を算出する重要度算出手段と、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算手段と、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出手段と、
前記重要シーンを時系列につなげてダイジェスト映像を生成するダイジェスト生成手段と、
を備え、
前記ダイジェスト生成手段は、前記人物重要度が所定の条件を満たしている人物を表示した人物表示画像を前記ダイジェスト映像に含める。
素材映像を取得する映像取得手段と、
前記素材映像から人物を特定する人物特定手段と、
前記素材映像の重要度を算出する重要度算出手段と、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算手段と、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出手段と、
を備え、
前記人物特定手段は、前記重要シーンにおいて人物を特定し、
前記重要度積算手段は、前記重要シーンにおいて特定された人物について、当該重要シーンにおける前記重要度を積算して前記人物重要度を出力する。
また、本発明の他の観点では、映像処理装置は、
素材映像を取得する映像取得手段と、
前記素材映像から人物を特定する人物特定手段と、
前記素材映像の重要度を算出する重要度算出手段と、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算手段と、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出手段と、
前記重要シーンを時系列につなげてダイジェスト映像を生成するダイジェスト生成手段と、
を備え、
前記ダイジェスト生成手段は、前記人物重要度が所定の条件を満たしている人物を表示した人物表示画像を前記ダイジェスト映像に含める。
本発明の他の観点では、映像処理方法は、
素材映像を取得し、
前記素材映像から人物を特定する人物特定処理を行い、
前記素材映像の重要度を算出する重要度算出処理を行い、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算処理を行い、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出処理を行い、
前記人物特定処理は、前記重要シーンにおいて人物を特定し、
前記重要度積算処理は、前記重要シーンにおいて特定された人物について、当該重要シーンにおける前記重要度を積算して前記人物重要度を出力する。
また、本発明の他の観点では、映像処理方法は、
素材映像を取得し、
前記素材映像から人物を特定する人物特定処理を行い、
前記素材映像の重要度を算出する重要度算出処理を行い、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算処理を行い、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出処理を行い、
前記重要シーンを時系列につなげてダイジェスト映像を生成するダイジェスト生成処理を行い、
前記ダイジェスト生成処理は、前記人物重要度が所定の条件を満たしている人物を表示した人物表示画像を前記ダイジェスト映像に含める。
素材映像を取得し、
前記素材映像から人物を特定する人物特定処理を行い、
前記素材映像の重要度を算出する重要度算出処理を行い、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算処理を行い、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出処理を行い、
前記人物特定処理は、前記重要シーンにおいて人物を特定し、
前記重要度積算処理は、前記重要シーンにおいて特定された人物について、当該重要シーンにおける前記重要度を積算して前記人物重要度を出力する。
また、本発明の他の観点では、映像処理方法は、
素材映像を取得し、
前記素材映像から人物を特定する人物特定処理を行い、
前記素材映像の重要度を算出する重要度算出処理を行い、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算処理を行い、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出処理を行い、
前記重要シーンを時系列につなげてダイジェスト映像を生成するダイジェスト生成処理を行い、
前記ダイジェスト生成処理は、前記人物重要度が所定の条件を満たしている人物を表示した人物表示画像を前記ダイジェスト映像に含める。
本発明のさらに他の観点では、記録媒体は、
素材映像を取得し、
前記素材映像から人物を特定する人物特定処理を行い、
前記素材映像の重要度を算出する重要度算出処理を行い、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算処理を行い、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出処理を行い、
前記人物特定処理は、前記重要シーンにおいて人物を特定し、
前記重要度積算処理は、前記重要シーンにおいて特定された人物について、当該重要シーンにおける前記重要度を積算して前記人物重要度を出力する処理をコンピュータに実行させるプログラムを記録する。
また、本発明のさらに他の観点では、記録媒体は、
素材映像を取得し、
前記素材映像から人物を特定する人物特定処理を行い、
前記素材映像の重要度を算出する重要度算出処理を行い、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算処理を行い、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出処理を行い、
前記重要シーンを時系列につなげてダイジェスト映像を生成するダイジェスト生成処理を行い、
前記ダイジェスト生成処理は、前記人物重要度が所定の条件を満たしている人物を表示した人物表示画像を前記ダイジェスト映像に含める処理をコンピュータに実行させるプログラムを記録する。
素材映像を取得し、
前記素材映像から人物を特定する人物特定処理を行い、
前記素材映像の重要度を算出する重要度算出処理を行い、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算処理を行い、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出処理を行い、
前記人物特定処理は、前記重要シーンにおいて人物を特定し、
前記重要度積算処理は、前記重要シーンにおいて特定された人物について、当該重要シーンにおける前記重要度を積算して前記人物重要度を出力する処理をコンピュータに実行させるプログラムを記録する。
また、本発明のさらに他の観点では、記録媒体は、
素材映像を取得し、
前記素材映像から人物を特定する人物特定処理を行い、
前記素材映像の重要度を算出する重要度算出処理を行い、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算処理を行い、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出処理を行い、
前記重要シーンを時系列につなげてダイジェスト映像を生成するダイジェスト生成処理を行い、
前記ダイジェスト生成処理は、前記人物重要度が所定の条件を満たしている人物を表示した人物表示画像を前記ダイジェスト映像に含める処理をコンピュータに実行させるプログラムを記録する。
本発明によれば、スポーツ映像などに基づいて、成績を示す数値に表れないプレイなども考慮して選手の活躍度を評価することが可能となる。
以下、図面を参照して、本発明の好適な実施形態について説明する。
＜第１実施形態＞
まず、本発明の第１実施形態に係る人物重要度算出装置について説明する。人物重要度算出装置は、素材映像に基づいて、その素材映像に登場する人物毎に重要度を算出し、出力する装置である。
＜第１実施形態＞
まず、本発明の第１実施形態に係る人物重要度算出装置について説明する。人物重要度算出装置は、素材映像に基づいて、その素材映像に登場する人物毎に重要度を算出し、出力する装置である。
［基本原理］
図１は、人物重要度算出装置１００の概略構成を示す。人物重要度算出装置１００は、素材映像データベース（以下、「データベース」を「ＤＢ」とも記す。）２に接続されている。素材映像ＤＢ２は、各種の素材映像、即ち、動画像を記憶している。素材映像は、例えば放送局から放送されるテレビ番組などの映像でもよく、インターネットなどで配信されている映像でもよい。なお、素材映像は、音声を含んでいてもよく、含んでいなくてもよい。人物重要度算出装置１００は、素材映像ＤＢ２から取得した素材映像に含まれる人物毎に、各人物の重要度（重要度スコア）を人物重要度として出力する。
図１は、人物重要度算出装置１００の概略構成を示す。人物重要度算出装置１００は、素材映像データベース（以下、「データベース」を「ＤＢ」とも記す。）２に接続されている。素材映像ＤＢ２は、各種の素材映像、即ち、動画像を記憶している。素材映像は、例えば放送局から放送されるテレビ番組などの映像でもよく、インターネットなどで配信されている映像でもよい。なお、素材映像は、音声を含んでいてもよく、含んでいなくてもよい。人物重要度算出装置１００は、素材映像ＤＢ２から取得した素材映像に含まれる人物毎に、各人物の重要度（重要度スコア）を人物重要度として出力する。
図２は、人物重要度算出装置１００による人物重要度の生成方法を模式的に示す。人物重要度算出装置１００は、まず素材映像における重要度を算出する。また、人物重要度算出装置１００は、素材映像に登場する人物を認識する。そして、人物重要度算出装置１００は、素材映像に登場する人物毎に、その人物が登場したときの素材映像の重要度を取得し、それらを積算して人物毎の重要度である人物重要度を算出する。図２の例では、素材映像の時刻ｔ１において人物Ａが認識され、そのときの素材映像の重要度はＳ１である。人物Ａは時刻ｔ４でも認識され、そのときの素材映像の重要度はＳ４である。人物Ａはさらに時刻ｔ７でも認識され、そのときの素材映像の重要度はＳ７である。この場合、素材映像全体における人物Ａの人物重要度Ｓは、
Ｓ＝Ｓ１＋Ｓ４＋Ｓ７
となる。なお、他の人物Ｂ、Ｃについても同様に人物重要度が算出される。このように、人物重要度算出装置１００は、人物が認識されるたびに、そのときの素材映像の重要度をその人物の人物重要度に積算し、素材映像全体における人物重要度を算出する。
Ｓ＝Ｓ１＋Ｓ４＋Ｓ７
となる。なお、他の人物Ｂ、Ｃについても同様に人物重要度が算出される。このように、人物重要度算出装置１００は、人物が認識されるたびに、そのときの素材映像の重要度をその人物の人物重要度に積算し、素材映像全体における人物重要度を算出する。
［ハードウェア構成］
図３は、人物重要度算出装置１００のハードウェア構成を示すブロック図である。図示のように、人物重要度算出装置１００は、インタフェース（ＩＦ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５とを備える。
図３は、人物重要度算出装置１００のハードウェア構成を示すブロック図である。図示のように、人物重要度算出装置１００は、インタフェース（ＩＦ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５とを備える。
ＩＦ１１は、外部装置との間でデータの入出力を行う。具体的に、素材映像ＤＢ２に保存されている素材映像はＩＦ１１を介して人物重要度算出装置１００に入力される。また、人物重要度算出装置１００により生成された人物重要度は、ＩＦ１１を通じて外部装置へ出力される。
プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、人物重要度算出装置１００の全体を制御する。具体的に、プロセッサ１２は、後述する人物重要度算出処理を実行する。
メモリ１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。
記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、人物重要度算出装置１００に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。人物重要度算出装置１００が各種の処理を実行する際には、記録媒体１４に記録されているプログラムがメモリ１３にロードされ、プロセッサ１２により実行される。
データベース１５は、ＩＦ１１を通じて入力された素材映像、人物重要度算出装置１００が生成した人物重要度などを一時的に記憶する。なお、人物重要度算出装置１００は、作成者が指示や入力を行うためのキーボード、マウスなどの入力部、及び、液晶ディスプレイなどの表示部を備えていてもよい。
［機能構成］
図４は、第１実施形態に係る人物重要度算出装置１００の機能構成を示すブロック図である。図示のように、人物重要度算出装置１００は、人物特定部２１と、重要度算出部２２と、重要度積算部２３とを備える。
図４は、第１実施形態に係る人物重要度算出装置１００の機能構成を示すブロック図である。図示のように、人物重要度算出装置１００は、人物特定部２１と、重要度算出部２２と、重要度積算部２３とを備える。
人物特定部２１は、素材映像に含まれる人物を特定する。具体的には、人物特定部２１は、素材映像を構成する１枚又は複数のフレームの集合（以下、「映像部分」と呼ぶ。）から人物を検出し、人物の同一性を判定して人物を特定する。これにより、図２に示すように、素材映像に含まれる複数の人物が、それぞれ人物Ａ、Ｂなどと特定される。人物特定部２１は、特定された人物を示す情報と、その人物が特定された時刻又はフレーム番号などを含む情報（以下、「特定人物情報」と呼ぶ。）を重要度積算部２３に出力する。
重要度算出部２２は、素材映像における重要度を算出する。具体的には、重要度算出部２２は、素材映像を構成する映像部分から特徴量を抽出し、抽出した特徴量に基づいて素材映像に対する重要度（重要度スコア）を算出する。なお、ここで算出される重要度は、対象となる単位映像全体の重要度であり、未だ個々の人物単位の重要度にはなっていない。重要度算出部２２は、算出した重要度を重要度積算部２３に出力する。
重要度積算部２３は、人物特定部２１から入力された特定人物情報と、重要度算出部２２から入力された重要度とを用いて、人物重要度を算出する。具体的には、重要度積算部２３は、人物が特定されたときの素材映像の重要度を、その人物に対応付けて積算する。例えば、素材映像のある映像部分で人物Ａが特定された場合、重要度積算部２３は、その映像部分の重要度をその人物Ａの人物重要度として記憶する。なお、素材映像のある映像部分で複数の人物Ａ、Ｂが特定された場合、重要度積算部２３は、その映像部分の重要度を、複数の人物Ａ、Ｂのそれぞれの人物重要度として記憶する。また、素材映像において、一度登場した人物Ａが別の映像部分で再度登場した場合、重要度積算部２３は、そのときの映像部分の重要度をその人物の人物重要度に加算する。こうして、重要度積算部２３は、素材映像に含まれる複数の人物を特定し、各人物が登場するたびに、そのときの映像部分の重要度を各人物の人物重要度に積算する。そして、重要度積算部２３は、素材映像全体について積算した各人物の重要度を人物重要度として出力する。
こうして、人物重要度算出装置１００は、素材映像に登場する人物毎の人物重要度を算出する。よって、人物重要度に基づいて、その素材映像においてどの人物が重要な役割を果たしているかを評価することができる。例えば、素材映像がスポーツの試合である場合、重要度の値は、その試合における得点シーンや注目すべきシーンなどにおいて高い値を示す。よって、人物重要度に基づき、その試合において活躍した選手や貢献度の高い選手を特定することが可能となる。
［人物重要度算出処理］
図５は、第１実施形態の人物重要度算出処理のフローチャートである。この処理は、図３に示すプロセッサ１２が予め用意されたプログラムを実行し、図４に示す各要素として動作することにより実現される。
図５は、第１実施形態の人物重要度算出処理のフローチャートである。この処理は、図３に示すプロセッサ１２が予め用意されたプログラムを実行し、図４に示す各要素として動作することにより実現される。
まず、重要度積算部２３は、各人物の人物重要度の積算値を初期化する（ステップＳ１０）。なお、この例では、素材映像に登場する何人かの人物が既知であるものとする。次に、重要度算出部２２は、素材映像を取得し（ステップＳ１１）、重要度を算出する（ステップＳ１２）。ここでは、重要度算出部２２は、例えば所定フレーム数、所定時間幅などに基づき、所定の映像部分の素材映像を取得し、その映像部分の重要度を算出する。
次に、人物特定部２１は、同じ映像部分から人物を特定し（ステップＳ１３）、その人物が新たな人物であるか否かを判定する（ステップＳ１４）。その人物が新たな人物である場合（ステップＳ１４：Ｙｅｓ）、重要度積算部２３は、新たな人物を追加する（ステップＳ１５）。即ち、重要度積算部２３は、新たな人物用の積算値を用意し、初期化する。一方、その人物が新たな人物でない場合（ステップＳ１４：Ｎｏ）、処理はステップＳ１６へ進む。ステップＳ１６では、ステップＳ１３で特定された人物について、そのときの映像部分の重要度を加算する。
次に、人物重要度算出装置１００は、素材映像の最後まで処理を行ったか否かを判定する（ステップＳ１７）。素材映像の最後まで処理が行われていない場合（ステップＳ１７：Ｎｏ）、処理はステップＳ１１へ戻り、次の映像部分についてステップＳ１２～Ｓ１６の処理を行う。一方、素材映像の最後まで処理が行われた場合（ステップＳ１７：Ｙｅｓ）、重要度積算部２３は、積算された人物重要度を出力する（ステップＳ１８）。そして、処理は終了する。
＜第２実施形態＞
次に、第２実施形態に係る人物重要度算出装置について説明する。第１実施形態の人物重要度生成装置１００は、素材映像を構成する全ての映像部分の重要度を用いて人物重要度を生成している。これに対し、第２実施形態の人物重要度算出装置１１０は、素材映像の重要シーンのみの重要度を用いて人物重要度を生成する。
次に、第２実施形態に係る人物重要度算出装置について説明する。第１実施形態の人物重要度生成装置１００は、素材映像を構成する全ての映像部分の重要度を用いて人物重要度を生成している。これに対し、第２実施形態の人物重要度算出装置１１０は、素材映像の重要シーンのみの重要度を用いて人物重要度を生成する。
［機能構成］
図６は、第２実施形態に係る人物重要度算出装置１１０の機能構成を示す。なお、第２実施形態に係る人物重要度算出装置１１０のハードウェア構成は、図３に示す第１実施形態のものと同様である。図示のように、人物重要度算出装置１１０は、人物特定部３１と、重要度算出部３２と、重要シーン抽出部３３と、重要度積算部３４とを備える。
図６は、第２実施形態に係る人物重要度算出装置１１０の機能構成を示す。なお、第２実施形態に係る人物重要度算出装置１１０のハードウェア構成は、図３に示す第１実施形態のものと同様である。図示のように、人物重要度算出装置１１０は、人物特定部３１と、重要度算出部３２と、重要シーン抽出部３３と、重要度積算部３４とを備える。
重要度算出部３２は、第１実施形態と同様に、素材映像から重要度を算出する。そして、重要度算出部３２は、算出した重要度を重要度積算部３４と重要シーン抽出部３３に出力する。
重要シーン抽出部３３は、重要度算出部３２が算出した重要度に基づいて、素材映像から重要シーンを抽出する。具体的には、重要シーン抽出部３３は、重要度算出部３２が算出した重要度を所定の閾値と比較し、重要度が所定の閾値以上である区間を重要シーンとして抽出する。そして、重要シーン抽出部３３は、重要シーンを示す情報を人物特定部３１と、重要度積算部３４に出力する。
人物特定部３１は、第１実施形態と同様に、素材映像から人物を特定する。但し、人物特定部３１は、素材映像のうち、重要シーンのみにおいて人物を特定し、特定した人物を示す特定人物情報を重要度積算部３４に出力する。即ち、人物特定部３１は、重要シーン以外のシーン（「非重要シーン」と呼ぶ。）においては、人物の特定を行わない。
重要度積算部３４は、人物特定部３１から入力された特定人物情報と、重要度算出部３２から入力された重要度と、重要シーン抽出部３３から入力された重要シーンを示す情報とに基づき、重要シーンについてのみ人物毎に重要度を積算する。即ち、重要度積算部３４は、重要シーンにおいて特定された各人物について、その重要シーンにおける素材映像の重要度を積算する。
このように、第２実施形態では、素材映像中の重要シーンについてのみ、人物毎の重要度を積算して人物重要度を生成する。よって、重要シーンに含まれる人物、即ち、特に活躍度や貢献度の高い人物についての人物重要度を得ることが可能となる。
［人物重要度算出処理］
図７は、第２実施形態の人物重要度算出処理のフローチャートである。この処理は、図３に示すプロセッサ１２が予め用意されたプログラムを実行し、図６に示す各要素として動作することにより実現される。
図７は、第２実施形態の人物重要度算出処理のフローチャートである。この処理は、図３に示すプロセッサ１２が予め用意されたプログラムを実行し、図６に示す各要素として動作することにより実現される。
まず、重要度積算部３４は、各人物の人物重要度の積算値を初期化する（ステップＳ２０）。なお、この例でも素材映像に登場する何人かの人物が既知であるものとする。次に、重要度算出部３２は、素材映像を取得し、重要度を算出する（ステップＳ２１）。次に、重要シーン抽出部３３は、算出された重要度に基づいて、素材映像中の重要シーンを抽出する（ステップＳ２２）。
次に、人物特定部３１は、抽出された重要シーンから人物を特定し（ステップＳ２３）、その人物が新たな人物であるか否かを判定する（ステップＳ２４）。その人物が新たな人物である場合（ステップＳ２４：Ｙｅｓ）、重要度積算部３４は、新たな人物を追加する（ステップＳ２５）。即ち、重要度積算部３４は、新たな人物用の積算値を用意し、初期化する。一方、その人物が新たな人物でない場合（ステップＳ２４：Ｎｏ）、処理はステップＳ２６へ進む。ステップＳ２６では、ステップＳ２３で特定された人物について、そのときの素材映像の重要度を加算する。これにより、重要シーンで特定された人物について、そのときの素材映像の重要度が加算される。
次に、人物重要度算出装置１００は、素材映像の最後まで処理を行ったか否かを判定する（ステップＳ２７）。素材映像の最後まで処理が行われていない場合（ステップＳ２７：Ｎｏ）、処理はステップＳ２１へ戻り、次の映像区間についてステップＳ２１～Ｓ２６の処理を行う。一方、素材映像の最後まで処理が行われた場合（ステップＳ２７：Ｙｅｓ）、重要度積算部３４は、積算された人物重要度を出力する（ステップＳ２８）。そして、処理は終了する。
［変形例］
次に、第２実施形態の変形例について説明する。第２実施形態では、人物重要度算出装置１１０は、素材映像中の重要シーンにおいて人物を特定し、重要度を積算している。しかし、重要シーンに映っている人物でも、実際には活躍度や貢献度が高くない人物もいる。例えば、野球の試合の素材映像の場合、ヒットシーンにおける守備の選手、ホームランシーンにおける投手、三振のシーンにおける打者などは、重要シーンに登場するが、チームに対する貢献度は高くない。そこで、人物重要度算出装置１１０は、以下の方法により、重要シーンにおいて貢献している人物のみについて重要度を積算する。
次に、第２実施形態の変形例について説明する。第２実施形態では、人物重要度算出装置１１０は、素材映像中の重要シーンにおいて人物を特定し、重要度を積算している。しかし、重要シーンに映っている人物でも、実際には活躍度や貢献度が高くない人物もいる。例えば、野球の試合の素材映像の場合、ヒットシーンにおける守備の選手、ホームランシーンにおける投手、三振のシーンにおける打者などは、重要シーンに登場するが、チームに対する貢献度は高くない。そこで、人物重要度算出装置１１０は、以下の方法により、重要シーンにおいて貢献している人物のみについて重要度を積算する。
（第１の方法）
第１の方法では、素材映像に複数の人物により構成されるグループが複数登場する場合、重要シーン抽出部３３は、重要シーンをいずれかのグループに関連付ける。そして、重要度積算部３４は、重要シーンに関連付けされたグループに属する人物のみについて、その重要シーンの重要度を加算する。一例として、素材映像がスポーツの試合の映像である場合、重要シーン抽出部３３は、その重要シーンがどちらのチームに貢献するシーンであるかを判定し、貢献する方のチームにその重要シーンを関連付ける。例えば、重要シーン抽出部３３は、チームＡの打者がヒットやホームランを打った重要シーンをチームＡに関連付け、チームＡの打者がチャンスで三振したシーンをチームＢに関連付ける。
第１の方法では、素材映像に複数の人物により構成されるグループが複数登場する場合、重要シーン抽出部３３は、重要シーンをいずれかのグループに関連付ける。そして、重要度積算部３４は、重要シーンに関連付けされたグループに属する人物のみについて、その重要シーンの重要度を加算する。一例として、素材映像がスポーツの試合の映像である場合、重要シーン抽出部３３は、その重要シーンがどちらのチームに貢献するシーンであるかを判定し、貢献する方のチームにその重要シーンを関連付ける。例えば、重要シーン抽出部３３は、チームＡの打者がヒットやホームランを打った重要シーンをチームＡに関連付け、チームＡの打者がチャンスで三振したシーンをチームＢに関連付ける。
そして、重要度積算部３４は、重要シーンに含まれる選手のうち、関連付けされたチームに属する選手についてその重要シーンの重要度を加算する。例えば、チームＡの打者がホームランを打ったシーンにチームＡの打者とチームＢの投手が登場する場合、重要度積算部３４は、その重要シーンの重要度を、チームＡの打者に加算し、チームＢの投手には加算しない。このように、重要シーンがどちらのチームに貢献するシーンであるかを判定し、チームに貢献する人物のみに重要度を加算することにより、重要シーンに映っているが実際には貢献していない人物に重要度が加算されにくくすることができる。
（第２の方法）
第２の方法では、重要シーンにおいて、各人物が映っている時間の長さを考慮する。具体的には、重要シーン抽出部３３は、重要シーンにおいて各人物が映っている時間を算出する。そして、重要度積算部３４は、所定の閾値τ秒以上映っている人物にのみ、その重要シーンの重要度を加算する。例えば、チームＡの打者がヒットを打った重要シーンにチームＡの打者とチームＢの複数の守備の選手が映っている場合、ヒットを打った選手はその後のベースランまで重要シーンに含まれることが多いので、重要度が加算される確率が高くなるが、守備の選手が写っている時間は短いので重要度が加算される確率が低くなる。別の例として、守備の選手がファインプレーにより打者をアウトにした重要シーンには、守備の選手のプレイが長く映っているので、その守備の選手について重要度が加算される確率が高くなる。このように、第２の方法によっても、重要シーンに映っているが実際には貢献していない人物に重要度が加算されにくくすることができる。
第２の方法では、重要シーンにおいて、各人物が映っている時間の長さを考慮する。具体的には、重要シーン抽出部３３は、重要シーンにおいて各人物が映っている時間を算出する。そして、重要度積算部３４は、所定の閾値τ秒以上映っている人物にのみ、その重要シーンの重要度を加算する。例えば、チームＡの打者がヒットを打った重要シーンにチームＡの打者とチームＢの複数の守備の選手が映っている場合、ヒットを打った選手はその後のベースランまで重要シーンに含まれることが多いので、重要度が加算される確率が高くなるが、守備の選手が写っている時間は短いので重要度が加算される確率が低くなる。別の例として、守備の選手がファインプレーにより打者をアウトにした重要シーンには、守備の選手のプレイが長く映っているので、その守備の選手について重要度が加算される確率が高くなる。このように、第２の方法によっても、重要シーンに映っているが実際には貢献していない人物に重要度が加算されにくくすることができる。
＜第３実施形態＞
第３実施形態は、上記の人物重要度算出装置をダイジェスト生成装置に適用したものである。
［基本概念］
まず、ダイジェスト生成装置の基本概念について説明する。ダイジェスト生成装置は、素材映像ＤＢ２に保存されている素材映像の一部を用いるダイジェスト映像を生成し、出力する。ダイジェスト映像は、素材映像における重要シーンを時系列につなげた映像である。ダイジェスト生成装置は、機械学習により訓練済みのダイジェスト生成モデル（以下、単に「生成モデル」とも呼ぶ。）を用いてダイジェスト映像を生成する。生成モデルとしては、例えば、ニューラルネットワークを用いたモデルを用いることができる。
第３実施形態は、上記の人物重要度算出装置をダイジェスト生成装置に適用したものである。
［基本概念］
まず、ダイジェスト生成装置の基本概念について説明する。ダイジェスト生成装置は、素材映像ＤＢ２に保存されている素材映像の一部を用いるダイジェスト映像を生成し、出力する。ダイジェスト映像は、素材映像における重要シーンを時系列につなげた映像である。ダイジェスト生成装置は、機械学習により訓練済みのダイジェスト生成モデル（以下、単に「生成モデル」とも呼ぶ。）を用いてダイジェスト映像を生成する。生成モデルとしては、例えば、ニューラルネットワークを用いたモデルを用いることができる。
図８は、ダイジェスト映像の例を示す。図８の例では、ダイジェスト生成装置は、素材映像に含まれるシーンＡ～Ｄを重要シーンとして抽出し、これらを時系列につなげたダイジェスト映像を生成する。なお、素材映像から抽出された重要シーンは、その内容次第で、ダイジェスト映像中で繰り返し使用されてもよい。
図９（Ａ）は、ダイジェスト生成装置２００が使用する生成モデルを訓練するための構成を示すブロック図である。生成モデルの訓練には、予め用意された訓練データセットが使用される。訓練データセットは、訓練用素材映像と、訓練用素材映像に対する正解を示す正解データのペアである。正解データは、訓練用素材映像における重要シーンの位置に正解を示すタグ（以下、「正解タグ」と呼ぶ。）を付与したデータである。典型的には、正解データにおける正解タグの付与は、経験のある編集者などにより行われる。例えば野球中継の素材映像については、野球解説者などが試合中のハイライトシーンなどを選択し、正解タグを付与する。なお、編集者による正解タグの付与方法を機械学習などで学習し、正解タグを自動的に付与してもよい。
訓練時には、訓練用素材映像が生成モデルＭに入力される。生成モデルＭは、素材映像から重要シーンを抽出する。具体的には、生成モデルＭは、素材映像を構成する１枚又は複数のフレームの集合から特徴量を抽出し、抽出した特徴量に基づいて素材映像に対する重要度（重要度スコア）を算出する。そして、生成モデルＭは、重要度が予め決められた閾値以上である部分を重要シーンとして出力する。訓練部４は、生成モデルＭの出力と、正解データとを用いて、生成モデルＭを最適化する。具体的には、訓練部４は、生成モデルＭが出力した重要シーンと、正解データに含まれる正解タグが示すシーンとを比較し、その誤差（損失）を小さくするように生成モデルＭのパラメータを更新する。こうして得られた訓練済みの生成モデルＭは、編集者が正解タグを付与したシーンに近いシーンを素材映像から重要シーンとして抽出することができるようになる。
図９（Ｂ）は、ダイジェスト生成装置による推論時の構成を示す。推論時には、ダイジェスト映像の生成の対象となる素材映像が訓練済みの生成モデルＭに入力される。生成モデルＭは、素材映像から重要度を算出し、重要度が予め決められた閾値以上である部分を重要シーンとして抽出し、ダイジェスト生成部５に出力する。ダイジェスト生成部５は、生成モデルＭが抽出した重要シーンをつなげてダイジェスト映像を生成し、出力する。こうして、ダイジェスト生成装置は、訓練済みの生成モデルＭを用いて、素材映像からダイジェスト映像を生成する。なお、第２実施形態の重要シーン抽出部３３には、上記の生成モデルＭを用いることができる。
［ダイジェスト生成装置］
図１０は、第１実施形態の人物重要度算出装置１００を適用したダイジェスト生成装置２００の機能構成を示す。ダイジェスト生成装置２００は、人物重要度算出装置１００と、重要シーン抽出部４４と、ダイジェスト生成部４５とを備える。
図１０は、第１実施形態の人物重要度算出装置１００を適用したダイジェスト生成装置２００の機能構成を示す。ダイジェスト生成装置２００は、人物重要度算出装置１００と、重要シーン抽出部４４と、ダイジェスト生成部４５とを備える。
人物重要度算出装置１００は、人物特定部２１と、重要度算出部２２と、重要度積算部２３とを備え、第１実施形態で説明したように動作する。また、重要度算出部２２は、算出した重要度を重要シーン抽出部４４にも出力する。さらに、重要度積算部２３は、算出した人物重要度をダイジェスト生成部４５に出力する。
重要シーン抽出部４４は、図９（Ｂ）を参照して説明したように、訓練済みの生成モデルＭを使用し、重要度に基づいて重要シーンを抽出してダイジェスト生成部４５に出力する。ダイジェスト生成部４５は、入力された重要シーンを時系列につなげて、ダイジェスト映像を生成する。
さらに、ダイジェスト生成部４５は、重要度積算部２３から入力された人物重要度に基づいて人物表示画像を作成し、ダイジェスト映像に含める。具体的に、ダイジェスト生成部４５は、人物重要度に基づいて、所定の条件を満たしている人物を表示した人物表示画像を生成する。所定の条件を満たしている人物とは、例えば、人物重要度が最大である人物、人物重要度が上位３位までの人物などである。また、素材映像がスポーツの試合である場合、所定の条件を満たしている人物は、例えば、勝利チームの選手のうち人物重要度が最大の選手、勝利チームで人物重要度が最大である投手と野手の一人ずつなどでもよい。
図１１は、素材映像が野球の試合である場合に人物重要度が最大である選手１名を表示した人物表示画像の例を示す。ダイジェスト生成部４５は、人物重要度に基づいてこのような人物表示画像を作成し、ダイジェスト映像に含める。なお、人物表示画像に用いられる人物の画像は、予め人物ごとに用意された画像を用いればよい。このように、人物重要度算出装置をダイジェスト生成装置に適用することにより、スポーツの試合などの素材映像において活躍度や貢献度が高い人物の画像をダイジェスト映像に含めることができる。なお、図１１の例では、試合終了時の人物重要度に基づいて人物表示画像を生成しているが、試合の途中における人物重要度に基づいて人物表示画像を生成し、ダイジェスト映像に含めてもよい。例えば、野球の７回終了時、サッカーのハーフタイムなどにおいて、それまでに活躍した選手を人物表示画像として生成し、ダイジェスト映像の対応する位置に含めてもよい。
なお、上記の例は、第１実施形態に係る人物重要度算出装置１００をダイジェスト生成装置に適用しているが、その代わりに、第２実施形態に係る人物重要度算出装置１１０をダイジェスト生成生成装置に適用してもよい。その場合には、第２実施形態の人物重要度算出装置１１０に含まれる重要シーン抽出部３３を図１０に示す重要シーン抽出部４４として使用すればよい。
＜第４実施形態＞
次に、本発明の第４実施形態について説明する。図１２は、第４実施形態に係る映像処理装置の機能構成を示すブロック図である。図示のように、映像処理装置７０は、映像取得手段７１と、人物特定手段７２と、重要度算出手段７３と、重要度積算手段７４とを備える。映像取得手段７１は、素材映像を取得する。人物特定手段７２は、素材映像から人物を特定する。重要度算出手段７３は、素材映像の重要度を算出する。重要度積算手段７４は、重要度を人物毎に積算し、人物毎の重要度を示す人物重要度を出力する。
次に、本発明の第４実施形態について説明する。図１２は、第４実施形態に係る映像処理装置の機能構成を示すブロック図である。図示のように、映像処理装置７０は、映像取得手段７１と、人物特定手段７２と、重要度算出手段７３と、重要度積算手段７４とを備える。映像取得手段７１は、素材映像を取得する。人物特定手段７２は、素材映像から人物を特定する。重要度算出手段７３は、素材映像の重要度を算出する。重要度積算手段７４は、重要度を人物毎に積算し、人物毎の重要度を示す人物重要度を出力する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
素材映像を取得する映像取得手段と、
前記素材映像から人物を特定する人物特定手段と、
前記素材映像の重要度を算出する重要度算出手段と、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算手段と、
を備える映像処理装置。
素材映像を取得する映像取得手段と、
前記素材映像から人物を特定する人物特定手段と、
前記素材映像の重要度を算出する重要度算出手段と、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算手段と、
を備える映像処理装置。
（付記２）
前記重要度積算手段は、前記素材映像に人物が含まれる場合に、当該素材映像の重要度を当該人物の人物重要度に加算する付記１に記載の映像処理装置。
前記重要度積算手段は、前記素材映像に人物が含まれる場合に、当該素材映像の重要度を当該人物の人物重要度に加算する付記１に記載の映像処理装置。
（付記３）
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出手段を備え、
前記人物特定手段は、前記重要シーンにおいて人物を特定し、
前記重要度積算手段は、前記重要シーンにおいて特定された人物について、当該重要シーンにおける前記重要度を積算して前記人物重要度を出力する付記１に記載の映像処理装置。
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出手段を備え、
前記人物特定手段は、前記重要シーンにおいて人物を特定し、
前記重要度積算手段は、前記重要シーンにおいて特定された人物について、当該重要シーンにおける前記重要度を積算して前記人物重要度を出力する付記１に記載の映像処理装置。
（付記４）
前記素材映像は、複数の人物により構成される複数のグループを含む映像であり、
前記重要シーン抽出手段は、前記重要シーンを前記複数のグループのいずれかに関連付け、
前記重要度積算手段は、前記重要シーンに含まれる人物のうち、当該重要シーンが関連付けされたグループに属する人物について当該重要シーンの重要度を加算する付記３に記載の映像処理装置。
前記素材映像は、複数の人物により構成される複数のグループを含む映像であり、
前記重要シーン抽出手段は、前記重要シーンを前記複数のグループのいずれかに関連付け、
前記重要度積算手段は、前記重要シーンに含まれる人物のうち、当該重要シーンが関連付けされたグループに属する人物について当該重要シーンの重要度を加算する付記３に記載の映像処理装置。
（付記５）
前記素材映像は、スポーツの試合の映像であり、前記人物は選手であり、前記グループは前記選手が属するチームであり、
前記重要シーン抽出手段は、前記重要シーンを、前記試合を行ういずれかのチームに関連付け、
前記重要度積算手段は、前記重要シーンに含まれる選手のうち、当該重要シーンが関連付けされたチームに属する選手について当該重要シーンの重要度を加算する付記４に記載の映像処理装置。
前記素材映像は、スポーツの試合の映像であり、前記人物は選手であり、前記グループは前記選手が属するチームであり、
前記重要シーン抽出手段は、前記重要シーンを、前記試合を行ういずれかのチームに関連付け、
前記重要度積算手段は、前記重要シーンに含まれる選手のうち、当該重要シーンが関連付けされたチームに属する選手について当該重要シーンの重要度を加算する付記４に記載の映像処理装置。
（付記６）
前記重要シーン抽出手段は、前記重要シーンに複数の人物が含まれている場合、各人物が当該重要シーンに含まれている時間を算出し、
前記重要度積算手段は、当該重要シーンに所定時間以上含まれている人物について前記重要度を加算する付記３に記載の映像処理装置。
前記重要シーン抽出手段は、前記重要シーンに複数の人物が含まれている場合、各人物が当該重要シーンに含まれている時間を算出し、
前記重要度積算手段は、当該重要シーンに所定時間以上含まれている人物について前記重要度を加算する付記３に記載の映像処理装置。
（付記７）
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出手段と、
前記重要シーンを時系列につなげてダイジェスト映像を生成するダイジェスト生成手段と、を備え、
前記ダイジェスト生成手段は、前記人物重要度が所定の条件を満たしている人物を表示した人物表示画像を前記ダイジェスト映像に含める付記１又は２に記載の映像処理装置。
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出手段と、
前記重要シーンを時系列につなげてダイジェスト映像を生成するダイジェスト生成手段と、を備え、
前記ダイジェスト生成手段は、前記人物重要度が所定の条件を満たしている人物を表示した人物表示画像を前記ダイジェスト映像に含める付記１又は２に記載の映像処理装置。
（付記８）
前記重要シーンを時系列につなげてダイジェスト映像を生成するダイジェスト生成手段を備え、
前記ダイジェスト生成手段は、前記人物重要度が所定の条件を満たしている人物を表示した人物表示画像を前記ダイジェスト映像に含める付記３乃至６のいずれか一項に記載の映像処理装置。
前記重要シーンを時系列につなげてダイジェスト映像を生成するダイジェスト生成手段を備え、
前記ダイジェスト生成手段は、前記人物重要度が所定の条件を満たしている人物を表示した人物表示画像を前記ダイジェスト映像に含める付記３乃至６のいずれか一項に記載の映像処理装置。
（付記９）
素材映像を取得し、
前記素材映像から人物を特定し、
前記素材映像の重要度を算出し、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する映像処理方法。
素材映像を取得し、
前記素材映像から人物を特定し、
前記素材映像の重要度を算出し、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する映像処理方法。
（付記１０）
素材映像を取得し、
前記素材映像から人物を特定し、
前記素材映像の重要度を算出し、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。
素材映像を取得し、
前記素材映像から人物を特定し、
前記素材映像の重要度を算出し、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。
以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
２ 素材映像ＤＢ
４ 訓練部
５ ダイジェスト生成部
１２ プロセッサ
２１、３１ 人物特定部
２２、３２ 重要度算出部
２３ 重要度積算部
３３、４４ 重要シーン抽出部
１００ 人物重要度算出装置
２００ ダイジェスト生成装置
４ 訓練部
５ ダイジェスト生成部
１２ プロセッサ
２１、３１ 人物特定部
２２、３２ 重要度算出部
２３ 重要度積算部
３３、４４ 重要シーン抽出部
１００ 人物重要度算出装置
２００ ダイジェスト生成装置
Claims (10)
- 素材映像を取得する映像取得手段と、
前記素材映像から人物を特定する人物特定手段と、
前記素材映像の重要度を算出する重要度算出手段と、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算手段と、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出手段と、
を備え、
前記人物特定手段は、前記重要シーンにおいて人物を特定し、
前記重要度積算手段は、前記重要シーンにおいて特定された人物について、当該重要シーンにおける前記重要度を積算して前記人物重要度を出力する映像処理装置。 - 素材映像を取得する映像取得手段と、
前記素材映像から人物を特定する人物特定手段と、
前記素材映像の重要度を算出する重要度算出手段と、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算手段と、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出手段と、
前記重要シーンを時系列につなげてダイジェスト映像を生成するダイジェスト生成手段と、
を備え、
前記ダイジェスト生成手段は、前記人物重要度が所定の条件を満たしている人物を表示した人物表示画像を前記ダイジェスト映像に含める映像処理装置。 - 前記素材映像は、複数の人物により構成される複数のグループを含む映像であり、
前記重要シーン抽出手段は、前記重要シーンを前記複数のグループのいずれかに関連付け、
前記重要度積算手段は、前記重要シーンに含まれる人物のうち、当該重要シーンが関連付けされたグループに属する人物について当該重要シーンの重要度を加算する請求項１に記載の映像処理装置。 - 前記素材映像は、スポーツの試合の映像であり、前記人物は選手であり、前記グループは前記選手が属するチームであり、
前記重要シーン抽出手段は、前記重要シーンを、前記試合を行ういずれかのチームに関連付け、
前記重要度積算手段は、前記重要シーンに含まれる選手のうち、当該重要シーンが関連付けされたチームに属する選手について当該重要シーンの重要度を加算する請求項３に記載の映像処理装置。 - 前記重要シーン抽出手段は、前記重要シーンに複数の人物が含まれている場合、各人物が当該重要シーンに含まれている時間を算出し、
前記重要度積算手段は、当該重要シーンに所定時間以上含まれている人物について前記重要度を加算する請求項１に記載の映像処理装置。 - 前記重要シーンを時系列につなげてダイジェスト映像を生成するダイジェスト生成手段を備え、
前記ダイジェスト生成手段は、前記人物重要度が所定の条件を満たしている人物を表示した人物表示画像を前記ダイジェスト映像に含める請求項１に記載の映像処理装置。 - 素材映像を取得し、
前記素材映像から人物を特定する人物特定処理を行い、
前記素材映像の重要度を算出する重要度算出処理を行い、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算処理を行い、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出処理を行い、
前記人物特定処理は、前記重要シーンにおいて人物を特定し、
前記重要度積算処理は、前記重要シーンにおいて特定された人物について、当該重要シーンにおける前記重要度を積算して前記人物重要度を出力する映像処理方法。 - 素材映像を取得し、
前記素材映像から人物を特定する人物特定処理を行い、
前記素材映像の重要度を算出する重要度算出処理を行い、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算処理を行い、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出処理を行い、
前記人物特定処理は、前記重要シーンにおいて人物を特定し、
前記重要度積算処理は、前記重要シーンにおいて特定された人物について、当該重要シーンにおける前記重要度を積算して前記人物重要度を出力する処理をコンピュータに実行させるプログラム。 - 素材映像を取得し、
前記素材映像から人物を特定する人物特定処理を行い、
前記素材映像の重要度を算出する重要度算出処理を行い、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算処理を行い、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出処理を行い、
前記重要シーンを時系列につなげてダイジェスト映像を生成するダイジェスト生成処理を行い、
前記ダイジェスト生成処理は、前記人物重要度が所定の条件を満たしている人物を表示した人物表示画像を前記ダイジェスト映像に含める映像処理方法。 - 素材映像を取得し、
前記素材映像から人物を特定する人物特定処理を行い、
前記素材映像の重要度を算出する重要度算出処理を行い、
前記重要度を前記人物毎に積算し、人物毎の重要度を示す人物重要度を出力する重要度積算処理を行い、
前記重要度に基づいて、前記素材映像から重要シーンを抽出する重要シーン抽出処理を行い、
前記重要シーンを時系列につなげてダイジェスト映像を生成するダイジェスト生成処理を行い、
前記ダイジェスト生成処理は、前記人物重要度が所定の条件を満たしている人物を表示した人物表示画像を前記ダイジェスト映像に含める処理をコンピュータに実行させるプログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/020869 WO2021240679A1 (ja) | 2020-05-27 | 2020-05-27 | 映像処理装置、映像処理方法、及び、記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2021240679A1 JPWO2021240679A1 (ja) | 2021-12-02 |
| JPWO2021240679A5 JPWO2021240679A5 (ja) | 2023-02-02 |
| JP7420246B2 true JP7420246B2 (ja) | 2024-01-23 |
Family
ID=78723095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022527350A Active JP7420246B2 (ja) | 2020-05-27 | 2020-05-27 | 映像処理装置、映像処理方法、及び、プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230206636A1 (ja) |
| JP (1) | JP7420246B2 (ja) |
| WO (1) | WO2021240679A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116631045A (zh) * | 2022-02-10 | 2023-08-22 | 成都拟合未来科技有限公司 | 基于动作识别的人体活跃度检测方法及系统及装置及介质 |
| CN115474093B (zh) * | 2022-11-02 | 2023-03-24 | 深圳市云积分科技有限公司 | 视频要素重要度的计算方法及装置、存储介质、电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001251581A (ja) | 2000-03-03 | 2001-09-14 | Jisedai Joho Hoso System Kenkyusho:Kk | スポーツ映像ダイジェスト作成方法およびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2003333500A (ja) | 2002-05-15 | 2003-11-21 | Ricoh Co Ltd | パーソナルダイジェスト配信システム |
| JP2004112110A (ja) | 2002-09-13 | 2004-04-08 | Ricoh Co Ltd | パーソナルダイジェスト配信装置、パーソナルダイジェスト配信方法およびその方法をコンピュータに実行させるためのプログラム |
| JP2006012052A (ja) | 2004-06-29 | 2006-01-12 | Matsushita Electric Ind Co Ltd | イベント重要度算出方法とその方法を実施する装置 |
| JP2012070283A (ja) | 2010-09-24 | 2012-04-05 | Toshiba Corp | 映像処理装置、方法、及び映像処理システム |
| US20190182436A1 (en) | 2017-12-08 | 2019-06-13 | Canon Kabushiki Kaisha | System and method of generating a composite frame |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012039523A (ja) * | 2010-08-10 | 2012-02-23 | Sony Corp | 動画像処理装置、動画像処理方法およびプログラム |
| US11006091B2 (en) * | 2018-11-27 | 2021-05-11 | At&T Intellectual Property I, L.P. | Opportunistic volumetric video editing |
| US11420623B2 (en) * | 2019-03-20 | 2022-08-23 | Honda Motor Co., Ltd. | Systems for determining object importance in on-road driving scenarios and methods thereof |
| US10834465B1 (en) * | 2019-06-28 | 2020-11-10 | Netflix, Inc. | Automated video cropping |
| US11399208B2 (en) * | 2019-09-24 | 2022-07-26 | International Business Machines Corporation | Packet priority for visual content |
| US11270118B2 (en) * | 2020-04-10 | 2022-03-08 | Toyota Motor Engineering & Manufacturing North America, Inc. | Creating a valuable video clip using metadata flagging |
| JP7521579B2 (ja) * | 2020-05-18 | 2024-07-24 | 日本電気株式会社 | 情報処理装置、映像配信システム、情報処理方法、及び、プログラム |
| WO2021240652A1 (ja) * | 2020-05-26 | 2021-12-02 | 日本電気株式会社 | 情報処理装置、制御方法及び記憶媒体 |
| JP7552732B2 (ja) * | 2021-01-06 | 2024-09-18 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
-
2020
- 2020-05-27 US US17/926,711 patent/US20230206636A1/en active Pending
- 2020-05-27 WO PCT/JP2020/020869 patent/WO2021240679A1/ja active Application Filing
- 2020-05-27 JP JP2022527350A patent/JP7420246B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001251581A (ja) | 2000-03-03 | 2001-09-14 | Jisedai Joho Hoso System Kenkyusho:Kk | スポーツ映像ダイジェスト作成方法およびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2003333500A (ja) | 2002-05-15 | 2003-11-21 | Ricoh Co Ltd | パーソナルダイジェスト配信システム |
| JP2004112110A (ja) | 2002-09-13 | 2004-04-08 | Ricoh Co Ltd | パーソナルダイジェスト配信装置、パーソナルダイジェスト配信方法およびその方法をコンピュータに実行させるためのプログラム |
| JP2006012052A (ja) | 2004-06-29 | 2006-01-12 | Matsushita Electric Ind Co Ltd | イベント重要度算出方法とその方法を実施する装置 |
| JP2012070283A (ja) | 2010-09-24 | 2012-04-05 | Toshiba Corp | 映像処理装置、方法、及び映像処理システム |
| US20190182436A1 (en) | 2017-12-08 | 2019-06-13 | Canon Kabushiki Kaisha | System and method of generating a composite frame |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021240679A1 (ja) | 2021-12-02 |
| US20230206636A1 (en) | 2023-06-29 |
| JPWO2021240679A1 (ja) | 2021-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10335679B2 (en) | Video processing device, video processing method, and program | |
| US9278288B2 (en) | Automatic generation of a game replay video | |
| CN112272581A (zh) | 在球队运动中进行交互的、可说明的且改进的比赛和球员表现预测的方法和系统 | |
| JP7420246B2 (ja) | 映像処理装置、映像処理方法、及び、プログラム | |
| JP3566896B2 (ja) | スポーツ映像ダイジェスト作成装置、スポーツ映像ダイジェスト作成方法およびスポーツ映像ダイジェスト作成処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN111035934B (zh) | 游戏教学方法、装置、电子设备和存储介质 | |
| CN108601980A (zh) | 信息处理系统、信息处理方法、程序、服务器和信息处理终端 | |
| Wolf et al. | A football player rating system | |
| CN111290724B (zh) | 在线虚拟解说方法、设备和介质 | |
| US7035868B2 (en) | Method and system for dynamically generating digest from event footage and associated metadata | |
| US11992765B2 (en) | Computer system and game system | |
| JP2004072540A (ja) | パーソナルダイジェスト配信システム、パーソナルダイジェスト作成方法およびその方法をコンピュータに実行させるためのプログラム | |
| JP7521579B2 (ja) | 情報処理装置、映像配信システム、情報処理方法、及び、プログラム | |
| JP7420245B2 (ja) | 映像処理装置、映像処理方法、及び、プログラム | |
| GB2579659A (en) | Player interaction capturing system and method | |
| KR20200075086A (ko) | 개인화된 하이라이트 동영상 생성 시스템 | |
| JP7485023B2 (ja) | 映像処理装置、映像処理方法、訓練装置、及び、プログラム | |
| JP7432348B2 (ja) | プレイヤ識別システムおよび方法 | |
| JP2002300518A (ja) | ダイジェスト番組の作成方法、装置および記憶媒体 | |
| JP2005026837A (ja) | スポーツ映像インデックス生成装置、その方法、そのプログラム及びスポーツ中継アナウンスデータ生成装置並びにスポーツダイジェスト映像生成装置 | |
| JP4414254B2 (ja) | 映像コンテンツ重要度解析システム | |
| JP7100277B2 (ja) | データ処理システムおよびデータ処理方法 | |
| WO2023248552A1 (ja) | 競技結果予測システム、競技結果予測方法、及び競技結果予測プログラム | |
| JP7552155B2 (ja) | 映像処理装置、映像処理方法、及びモデル生成装置 | |
| CN110314368A (zh) | 台球击球的辅助方法、装置、设备及可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221116 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231225 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7420246 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |