JP5993243B2 - 映像処理装置及びプログラム - Google Patents
映像処理装置及びプログラム Download PDFInfo
- Publication number
- JP5993243B2 JP5993243B2 JP2012174410A JP2012174410A JP5993243B2 JP 5993243 B2 JP5993243 B2 JP 5993243B2 JP 2012174410 A JP2012174410 A JP 2012174410A JP 2012174410 A JP2012174410 A JP 2012174410A JP 5993243 B2 JP5993243 B2 JP 5993243B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- importance
- image
- scene
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
前記重要度算出手段は、前記動き特徴と前記見え特徴とに基づく画像特徴、及び前記発話の尤度と前記音声レベルとに基づく音声特徴に基づき、前記重要度を算出してもよい。
前記設定手段により設定された時間長に前記映像を短縮してもよい。
<構成>
図1は、実施例1における映像処理装置10の概略構成の一例を示すブロック図である。図1に示すように、映像処理装置10は、制御部102、主記憶部104、補助記憶部106、ドライブ装置108、ネットワークI/F部110、入力部112、及び表示部114を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
次に、実施例1における映像処理装置10の機能について説明する。図2は、実施例1における映像処理装置10の機能の一例を示すブロック図である。図2に示す映像処理装置10は、画像解析手段202と、音声解析手段204と、重要度算出手段206と、短縮手段208とを有する。
Ft':正規化後のFt(Ft'=Ft/(W/2))
αM、βF:重み係数
正規化は、それぞれのパラメータを0〜1.0の値にするために行われる。Wは、画像の水平幅を示す。αM、βFの重み係数は、適切な値が予め設定されていればよい。画像解析手段202は、算出したVtを重要度算出手段206に出力する。
αL、βP:重み係数
正規化は、Ltを0〜1.0の値にするために行われる。Ptは、0〜1.0の値をとる。αL、βPの重み係数は、適切な値が予め設定されていればよい。音声解析手段204は、算出したAtを重要度算出手段206に出力する。
次に、実施例1における映像処理装置10の動作について説明する。図6は、実施例1における映像短縮処理の一例を示すフローチャートである。ステップS101で、映像処理装置10は、処理対象の映像を取得する。処理対象の映像は、ネットワークから配信されたり、記録媒体116から取得されたりする。
次に、実施例2における映像処理装置について説明する。実施例2では、各重み係数を調整し、より適切に重要なシーンを残しつつ、映像を短縮できる。
実施例2における映像処理装置の構成は、図1に示す構成と同様であるため、同じ符号を用いて説明する。
図7は、実施例2における映像処理装置20の機能の一例を示すブロック図である。図7に示す映像処理装置20の機能のうち、図2に示す機能と同様のものは同じ符号を付す。以降では、実施例1の機能と異なる機能について主に説明する。
重要度算出手段302は、例えば、処理対象の処理単位の時間経過に基づく重み係数Wtを重要度Itに乗算する。重要度算出手段302は、重み係数Wtを次の式(5)に算出する。
また、重み係数調整手段322は、画像特徴の重み係数αV、音声特徴の重み係数βAを調整してもよい。重み係数調整手段322は、映像のカットが検出されたフレームから次のカットが検出されるまで、音声特徴に乗算する重み係数βAを小さくし、画像特徴に乗算する重み係数αVを大きくしてもよい。
次に、実施例2における映像処理装置20の動作について説明する。図8は、実施例2における映像短縮処理の一例を示すフローチャートである。図8に示すステップS201〜S203の処理は、図6に示すステップS101〜S103の処理と同様である。
次に、実施例3における映像処理装置について説明する。実施例3では、画像、音声解析により所定のシーンを分類し、分類された所定のシーンに含まれるフレームの重要度を調整することができる。これにより、より適切に重要なシーンを残しつつ、映像を短縮できる。
実施例3における映像処理装置の構成は、図1に示す構成と同様であるため、同じ符号を用いて説明する。
図9は、実施例3における映像処理装置30の機能の一例を示すブロック図である。図9に示す映像処理装置30の機能のうち、図2に示す機能と同様のものは同じ符号を付す。以降では、実施例1の機能と異なる機能について主に説明する。
図10は、発話シーンの一例を示す図である。人物が話しているシーンは、比較的重要であることが多い。そこで、シーン分類手段402は、発話シーンのフレームの重要度を高めるようにする。発話シーンでは、画像から顔検出を行い、音声からの発話検出などがシーン分類に有効に作用すると考えられる。
図11は、解説シーンの一例を示す図である。文字やグラフを提示して解説するシーンは、他のシーンに比べて重要である場合が多い。そこで、シーン分類手段402は、解説シーンの重要度を高めるようにする。解説シーンには、パターンを手に持った解説やグラフを全面に表示したうえでの解説など様々あるが、画像には文字や図形が現れ、かつ音声には人の発話が現れることが多い。解説シーンでは、画像のエッジ特徴と音声の発話検出が有効に作用すると考えられる。
図12は、背景シーンの一例を示す図である。映像上は激しい動きがあるシーンでも、実際は木立の揺れや川の流れなどの背景映像のことがある。そこで、シーン分類手段402により背景シーンに分類されたフレームは、その重要度を下げる。背景シーンでは、音声は無音に近い低いレベルとなることが多い。画像のフレーム差分量と音声レベルが、背景シーンの検出に有効に作用すると考えられる。
次に、実施例3における映像処理装置30の動作について説明する。図13は、実施例3における映像短縮処理の一例を示すフローチャートである。図13に示すステップS301〜S304の処理は、図6に示すステップS101〜S104の処理と同様である。
202 画像解析手段
204 音声解析手段
206、302、404 重要度算出手段
208 短縮手段
222 動き特徴解析手段
224 見え特徴解析手段
242 発話検出手段
244 音声レベル検出手段
282 設定手段
322 重み係数調整手段
402 シーン分類手段
Claims (8)
- 入力された映像に対し、少なくとも動き特徴を含む画像特徴を解析する画像解析手段と、
前記映像から少なくとも発話の尤度を含む音声特徴を解析する音声解析手段と、
前記画像特徴と前記音声特徴とに基づき、前記映像の処理単位の重要度を算出する重要度算出手段と、
前記重要度に基づき、前記映像の時間長を短縮する短縮手段と
を備え、
前記重要度算出手段は、
前記映像のカットが検出されたフレームから次のカットが検出されるまで、前記音声特徴に乗算する第2重み係数を小さくし、前記画像特徴に乗算する第3重み係数を大きくする映像処理装置。 - 前記重要度算出手段は、
処理対象の前記処理単位の時間経過に基づく第1重み係数を前記重要度に乗算する請求項1記載の映像処理装置。 - 前記重要度算出手段は、
前記映像の開始直後の第1所定時間及び終了直前の第2所定時間の第1重み係数を、該第1所定時間及び該第2所定時間以外の時間の第1重み係数よりも大きくする請求項2記載の映像処理装置。 - 前記画像特徴及び前記音声特徴に基づきシーン分類を行うシーン分類手段をさらに備え、
前記重要度算出手段は、
前記シーン分類手段により分類されたシーンが所定のシーンである場合、前記所定のシーンに含まれる処理単位の前記重要度を調整する請求項1乃至3いずれか一項に記載の映像処理装置。 - 前記短縮手段は、
短縮後の映像の連続性を考慮して前記映像の時間長を短縮する請求項1乃至4いずれか一項に記載の映像処理装置。 - 前記画像解析手段は、
処理対象画像の顔検出結果に基づく見え特徴をさらに解析し、
前記音声解析手段は、
前記処理対象画像に対応する音声レベルをさらに解析し、
前記重要度算出手段は、
前記動き特徴と前記見え特徴とに基づく画像特徴、及び前記発話の尤度と前記音声レベルとに基づく音声特徴に基づき、前記重要度を算出する請求項1乃至5いずれか一項に記載の映像処理装置。 - 前記映像の時間長を設定する設定手段をさらに備え、
前記短縮手段は、
前記設定手段により設定された時間長に前記映像を短縮する請求項1乃至6いずれか一項に記載の映像処理装置。 - コンピュータを、請求項1乃至7いずれか一項に記載の映像処理装置として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012174410A JP5993243B2 (ja) | 2012-08-06 | 2012-08-06 | 映像処理装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012174410A JP5993243B2 (ja) | 2012-08-06 | 2012-08-06 | 映像処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014033417A JP2014033417A (ja) | 2014-02-20 |
JP5993243B2 true JP5993243B2 (ja) | 2016-09-14 |
Family
ID=50282907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012174410A Expired - Fee Related JP5993243B2 (ja) | 2012-08-06 | 2012-08-06 | 映像処理装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5993243B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230206630A1 (en) * | 2020-05-26 | 2023-06-29 | Nec Corporation | Information processing device, control method and storage medium |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4913288B2 (ja) * | 2001-05-14 | 2012-04-11 | ソニー株式会社 | 情報信号処理装置及び情報信号処理方法 |
US7127120B2 (en) * | 2002-11-01 | 2006-10-24 | Microsoft Corporation | Systems and methods for automatically editing a video |
JP2007095135A (ja) * | 2005-09-27 | 2007-04-12 | Sanyo Electric Co Ltd | 映像記録再生装置 |
JP5393237B2 (ja) * | 2009-04-24 | 2014-01-22 | キヤノン株式会社 | 画像表示装置及びその制御方法、並びにプログラム及び記憶媒体 |
JP5092000B2 (ja) * | 2010-09-24 | 2012-12-05 | 株式会社東芝 | 映像処理装置、方法、及び映像処理システム |
-
2012
- 2012-08-06 JP JP2012174410A patent/JP5993243B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014033417A (ja) | 2014-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11012486B2 (en) | Personalized video playback | |
US11024338B2 (en) | Device, method, and non-transitory computer readable medium for processing motion image | |
US9681186B2 (en) | Method, apparatus and computer program product for gathering and presenting emotional response to an event | |
JP5057918B2 (ja) | 電子機器およびシーン種類表示方法 | |
US10559323B2 (en) | Audio and video synchronizing perceptual model | |
JP5460709B2 (ja) | 音響信号処理装置および方法 | |
US10789990B2 (en) | Video data learning and prediction | |
WO2020215722A1 (zh) | 视频处理方法和装置、电子设备及计算机可读存储介质 | |
US10108395B2 (en) | Audio device with auditory system display and methods for use therewith | |
JP2011253375A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
WO2022001027A1 (zh) | 网络教学中投屏画面自适应的方法以及装置 | |
US20190171760A1 (en) | System, summarization apparatus, summarization system, and method of controlling summarization apparatus, for acquiring summary information | |
JP2016046705A (ja) | 会議録編集装置、その方法とプログラム、会議録再生装置、および会議システム | |
JP2010011409A (ja) | 映像ダイジェスト装置及び映像編集プログラム | |
US8868419B2 (en) | Generalizing text content summary from speech content | |
JP5330551B2 (ja) | 電子機器および表示処理方法 | |
JP5993243B2 (ja) | 映像処理装置及びプログラム | |
JP2009278202A (ja) | 映像編集装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
JP2008058956A (ja) | 音声再生装置 | |
JP5039020B2 (ja) | 電子機器および映像コンテンツ情報表示方法 | |
JP2009175803A (ja) | 障がい者向けパーソナルコンピュータ要約者支援方法及び装置及びプログラム | |
JP6838739B2 (ja) | 近時記憶支援装置 | |
JP6528484B2 (ja) | 画像処理装置、アニメーション生成方法及びプログラム | |
JP2011061263A (ja) | ダイジェスト映像作成装置およびダイジェスト映像作成プログラム | |
JP5802139B2 (ja) | 音声処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150701 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160510 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5993243 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |