JP4032122B2 - 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 - Google Patents
映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 Download PDFInfo
- Publication number
- JP4032122B2 JP4032122B2 JP2004190280A JP2004190280A JP4032122B2 JP 4032122 B2 JP4032122 B2 JP 4032122B2 JP 2004190280 A JP2004190280 A JP 2004190280A JP 2004190280 A JP2004190280 A JP 2004190280A JP 4032122 B2 JP4032122 B2 JP 4032122B2
- Authority
- JP
- Japan
- Prior art keywords
- shot
- section
- degree
- video
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 62
- 238000001514 detection method Methods 0.000 claims description 51
- 230000033001 locomotion Effects 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000007423 decrease Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 42
- 238000003860 storage Methods 0.000 description 25
- 238000011156 evaluation Methods 0.000 description 9
- 230000000052 comparative effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 206010038743 Restlessness Diseases 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 208000001431 Psychomotor Agitation Diseases 0.000 description 1
- 239000004783 Serene Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- MTCFGRXMJLQNBG-UHFFFAOYSA-N serine Chemical compound OCC(N)C(O)=O MTCFGRXMJLQNBG-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
1.1 映画の文法
映画には、撮影や編集の際に制作者によって特定の意味や意図を強調する目的で使用される技法がある。それを「映画の文法」という(非特許文献6:ダニエル・アリホン著, 岩本憲児, 出口丈人訳, “映画の文法”, 紀伊國屋書店, 1980.参照)。
映画の文法に基づき、話の内容を視聴者に効果的に伝えるために、編集上強調された区間として、アクション区間、緊迫した区間、落ち着いた区間を抽出する。その際、各ショットにおいて、ショットの長さ、画像の動きの激しさや緩やかさに基づき、ショットの性質として、アクション性、緊迫性、落ち着き性を定義する。そして性質を表す値が連続して高い値をとるショット群をそれぞれアクション区間、緊迫した区間、落ち着いた区間とする。これら3つの区間を抽出し、各性質を表す値の高い順に要約映像を作成する際の候補とすることにより、映画の中で編集上強調された区間を要約映像に加えることが可能となり、その要約映像は映画の内容が分かりやすいものとなる。
2.1 アクション性
2.1.1 ショットの長さによるアクション性
アクション区間では、短いショットが連続するという特徴があるため、それを以下の条件で抽出し、アクション性を表す値を求める。
図1に示す時空間投影画像(非特許文献7:阿久津明人, 外村佳伸, “投影法を用いた映像の解析手法と映像ハンドリングへの応用”, 電子情報通信学会論文誌, Vol. J79-D-II, No. 5, pp. 675-686, May 1996.参照)は、映像中のオブジェクトやカメラワークによって生じる動きを可視化した画像であるため、非特許文献7ではカメラワークを検出する際に用いられている。
図3に示すようにサウンドスペクトログラム上に現れる時間軸(横軸)に沿った周波数ピークを示す楽器音成分を検出することにより、ある時間間隔における楽器音成分の数により音楽が流れていることを判定することができる(非特許文献8:川崎智広, 吉高淳夫, 平川正人, 市川忠男, “映画における音楽、効果音の抽出及び印象評価手法の提案”, 信学技報, MVE97-96, pp. 23-29, 1998.参照)。
以上で求めた各特徴によるアクション性を表す値に基づき、ショットskでのアクション性度合Action(sk)を数式(4)のように表す。以上で求めた3つの値に基づき、ショットskでのアクション性度合を求めるが、ある要素のみが必ずアクション区間に表れるのではなく、各要素が満たされる可能性があるため、各要素の平均を求めアクション性度合としている。
緊迫した区間ではショットの長さが徐々に短くなるという特徴がある。その特徴に基づいて緊迫した区間を抽出する。また、緊迫した区間内でショットの平均時間が短いほど、緊迫性が高く感じられるため、それを緊迫性度合として、Tension(sk)を数式(5)のように定義する。ただし、SLTensionは緊迫した区間内でのショットの長さの平均値、nは緊迫した区間内のショットの数、miはk番目のショットからの変位を表す。なお、緊迫性度合は、緊迫した区間、つまりショットの長さが徐々に短くなるという条件を満たす区間においてのみ定義する。
2.3.1 ショットの長さによる落ち着き性
落ち着いた区間では、長いショットが連続するという特徴があるため、それを以下の条件で抽出し、落ち着き性を表す値を求める。
落ち着いた区間では、映像内でオブジェクトやカメラワークによる動きがあまり見られないため、時空間投影画像上には時間軸方向に沿ってエッジが存在する。そのエッジの平らさを検出することによって落ち着き性を定義する。この場合、平らさの尺度が落ち着き性を表す値とする。
楽器音成分の継続時間により、落ち着き性を判定する。実験により、落ち着いた区間で流れている音楽は、楽器音成分の継続時間が長い傾向があることを確認している。
以上で求めた各特徴による落ち着き性を表す値に基づき、ショットskでの落ち着き性度合Calm(sk)を数式(9)のように定義する。以上で求めた3つの値に基づき、ショットskでの落ち着き性度合を求めるが、ある要素のみが必ず落ち着いた区間に表れるのではなく、各要素が満たされる可能性があるため、各要素の平均を求め落ち着き性度合としている。
3.1 装置構成
図5のブロック図は、本実施形態における要約映像作成装置1の構成を示している。要約映像作成装置1は、制御部2、記憶部3、データ入力部4、操作部5、データ出力部6を備えて構成されている。
図6のフローチャートに基づいて、要約映像作成装置1における全体的な処理の流れについて説明する。
図7のフローチャートに基づいて、ショット分析部12によるショット長さの検出処理について説明する。
図8のフローチャートに基づいて、映像分析部13による時空間投影画像の作成処理について説明する。
図9のフローチャートに基づいて、映像分析部13による映像の動きの検出処理について説明する。
図10のフローチャートに基づいて、音声分析部14による音楽の性質の検出処理について説明する。
画像内に輝度の変化が周囲と異なっており強調されたオブジェクトが存在する場合、そのショットは内容を伝える上で強調されているため重要である。そのため、以下のようにして各ショットにおいて主体を検出する。
また、主体検出部15は、160ピクセル×120ピクセルの先頭フレームを8ピクセル×6ピクセルのブロックに分割し(ステップS403)、ブロック内の主要色により各ブロックの色を統一し(ステップS404)、HSV表色系で領域分割を行う(ステップS405)。
図12のフローチャートに基づいて、強調された区間の抽出処理について説明する。
性質の異なる区間が連続している場合、それらは原因と結果との従属関係となる。よって、それらの関係を検出することにより、話の文脈を考慮することが可能となる。
図14のフローチャートに基づいて、要約映像の生成処理について説明する。
以上のように、要約映像作成装置(映像編集装置)1では、ショット分析部(ショット認識手段)12により、映像データ51に基づき、映像の各部についてショットの継続時間の長さに応じた特徴を認識する。また、映像分析部(映像認識手段)13により、映像データ51に基づき、映像の各部について映像の動きの激しさに応じた特徴を認識する。
大学生6名の被験者に、要約映像作成装置1により作成した要約映像(実施例)と、内容、文脈ともに考慮せずに作成した要約映像(比較例)とを見比べてもらい、どちらの方が、映画の内容、話の流れが理解しやすい要約映像となっているかを評価した。
2 制御部
3 記憶部
4 データ入力部
5 操作部
6 データ出力部
11 カット検出部
12 ショット分析部(ショット認識手段)
13 映像分析部(映像認識手段)
14 音声分析部(音声認識手段)
15 主体検出部(主体検出手段)
16 指標生成部
17 区間抽出部(強調区間特定手段)
18 従属度検出部(従属度検出手段)
19 要約映像生成部(要約作成手段)
Claims (8)
- ショットの連続によって構成される映像から要約映像を作成する映像編集装置において、
各ショットの長さと映像における動きの激しさとに基づいて予め定めた演算により各ショットにおけるアクション性度合、緊迫性度合、及び落ち着き性度合を生成する指標生成部と、
ショットの長さが徐々に短くなる区間を緊迫した区間とし、アクション性度合が予め定めた閾値以上かつ落ち着き性度合よりも大きいショット以降、アクション性度合が落ち着き性度合よりも大きいショットの連続した区間をアクション区間とし、落ち着き性度合が予め定めた閾値以上かつアクション性度合よりも大きいショット以降、落ち着き性度合がアクション性度合よりも大きいショットの連続した区間を落ち着いた区間とする区間抽出部と、
緊迫した区間の後にアクション区間又は落ち着いた区間が続く場合にはこれら連続する2つの区間に含まれるショットの緊迫性度合の平均値の差をこれら連続する2つの区間の従属度とし、アクション区間又は落ち着いた区間の後に緊迫した区間が続く場合にはこれら連続する2つの区間に含まれるショットのそれぞれアクション性度合又は落ち着き性度合の平均値の差をこれら連続する2つの区間の従属度とする従属度検出部と、
緊迫した区間において要約映像として未採用のショットの中で緊迫性度合の最も高いショットを要約映像として採用するとともに、採用したショットを含む区間に隣接する区間の中から従属度の高い区間を選択し、選択した区間における未採用のショットの中で上記採用したショットを含む区間と時間的に最も近いショットを要約映像として採用する要約映像生成部とを備えることを特徴とする映像編集装置。 - 前記従属度検出部は、さらに、アクション区間の後に緊迫した区間又は落ち着いた区間が続く場合にはこれら連続する2つの区間に含まれるショットのアクション性度合の平均値の差をこれら連続する2つの区間の従属度とし、落ち着いた区間の後にアクション区間が続く場合にはこれら連続する2つの区間に含まれるショットの落ち着き性度合の平均値の差をこれら連続する2つの区間の従属度とし、
要約映像生成部は、さらに、アクション区間において要約映像として未採用のショットの中でアクション性度合の最も高いショットを要約映像として採用するとともに、採用したショットを含む区間に隣接する区間の中から従属度の高い区間を選択し、選択した区間における未採用のショットの中で上記採用したショットを含む区間と時間的に最も近いショットを要約映像として採用することを特徴とする請求項1に記載の映像編集装置。 - 前記従属度検出部は、さらに、落ち着いた区間の後に緊迫した区間又はアクション区間が続く場合にはこれら連続する2つの区間に含まれるショットの落ち着き性度合の平均値の差をこれら連続する2つの区間の従属度とし、アクション区間の後に落ち着いた区間が続く場合にはこれら連続する2つの区間に含まれるショットのアクション性度合の平均値の差をこれら連続する2つの区間の従属度とし、
要約映像生成部は、さらに、落ち着いた区間において要約映像として未採用のショットの中で落ち着き性度合の最も高いショットを要約映像として採用するとともに、採用したショットを含む区間に隣接する区間の中から従属度の高い区間を選択し、選択した区間における未採用のショットの中で上記採用したショットを含む区間と時間的に最も近いショットを要約映像として採用することを特徴とする請求項1に記載の映像編集装置。 - 各ショットの緊迫性度合は、当該ショットと当該ショットの前後の予め定めたショットに関するショットの長さの平均値が短いほど高くなる値であり、
各ショットのアクション性度合は、当該ショットの長さが所定の閾値より短くなると高くなり、かつ、当該ショットにおける映像の動きが激しいほど高くなる値であり、
各ショットの落ち着き性度合は、当該ショットの長さが所定の閾値より長くなると高くなり、かつ、当該ショットにおける映像の動きが小さいほど高くなる値であることを特徴とする請求項1から3の何れか1項に記載の映像編集装置。 - 各ショットのアクション性度合は、さらに、当該ショットと当該ショットの前後の予め定めたショットにおける楽器音成分の長さが所定の閾値より短くなると高くなる値であり、
各ショットの落ち着き性度合は、さらに、当該ショットと当該ショットの前後の予め定めたショットにおける楽器音成分の長さが所定の閾値より長くなると高くなる値であることを特徴とする請求項4に記載の映像編集装置。 - 請求項1から5の何れか1項に記載の映像編集装置を動作させる映像編集プログラムであって、コンピュータを前記各部として機能させるための映像編集プログラム。
- 請求項6に記載の映像編集プログラムを記録したコンピュータ読み取り可能な記録媒体。
- ショットの連続によって構成される映像から要約映像を作成する映像編集方法において、
各ショットの長さと映像における動きの激しさとに基づいて予め定めた演算により各ショットにおけるアクション性度合、緊迫性度合、及び落ち着き性度合を生成する指標生成処理と、
ショットの長さが徐々に短くなる区間を緊迫した区間とし、アクション性度合が予め定めた閾値以上かつ落ち着き性度合よりも大きいショット以降、アクション性度合が落ち着き性度合よりも大きいショットの連続した区間をアクション区間とし、落ち着き性度合が予め定めた閾値以上かつアクション性度合よりも大きいショット以降、落ち着き性度合がアクション性度合よりも大きいショットの連続した区間を落ち着いた区間とする区間抽出処理と、
緊迫した区間の後にアクション区間又は落ち着いた区間が続く場合にはこれら連続する2つの区間に含まれるショットの緊迫性度合の平均値の差をこれら連続する2つの区間の従属度とし、アクション区間又は落ち着いた区間の後に緊迫した区間が続く場合にはこれら連続する2つの区間に含まれるショットのそれぞれアクション性度合又は落ち着き性度合の平均値の差をこれら連続する2つの区間の従属度とする従属度検出処理と、
緊迫した区間において要約映像として未採用のショットの中で緊迫性度合の最も高いショットを要約映像として採用するとともに、採用したショットを含む区間に隣接する区間の中から従属度の高い区間を選択し、選択した区間における未採用のショットの中で上記採用したショットを含む区間と時間的に最も近いショットを要約映像として採用する要約映像生成処理とを備えることを特徴とする映像編集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004190280A JP4032122B2 (ja) | 2004-06-28 | 2004-06-28 | 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004190280A JP4032122B2 (ja) | 2004-06-28 | 2004-06-28 | 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006014084A JP2006014084A (ja) | 2006-01-12 |
JP4032122B2 true JP4032122B2 (ja) | 2008-01-16 |
Family
ID=35780744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004190280A Expired - Lifetime JP4032122B2 (ja) | 2004-06-28 | 2004-06-28 | 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4032122B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007127695A2 (en) | 2006-04-25 | 2007-11-08 | Elmo Weber Frank | Prefernce based automatic media summarization |
EP2257057B1 (en) * | 2008-03-19 | 2019-05-08 | National University Corporation Hokkaido University | Dynamic image search device and dynamic image search program |
JP5540376B2 (ja) * | 2009-09-15 | 2014-07-02 | 学校法人東京工芸大学 | コマ割り画像生成装置及びプログラム |
JP5441794B2 (ja) * | 2010-03-31 | 2014-03-12 | 三菱電機株式会社 | オーサリング装置 |
JP6583285B2 (ja) | 2014-12-15 | 2019-10-02 | ソニー株式会社 | 情報処理方法、映像処理装置及びプログラム |
WO2018155352A1 (ja) * | 2017-02-21 | 2018-08-30 | パナソニックIpマネジメント株式会社 | 電子機器の制御方法、電子機器、電子機器の制御システム、及び、プログラム |
WO2018155351A1 (ja) * | 2017-02-21 | 2018-08-30 | パナソニックIpマネジメント株式会社 | 再生方法、再生システム、および、再生装置 |
JP6917210B2 (ja) * | 2017-06-20 | 2021-08-11 | 日本放送協会 | 要約映像生成装置およびそのプログラム |
-
2004
- 2004-06-28 JP JP2004190280A patent/JP4032122B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2006014084A (ja) | 2006-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8818803B2 (en) | Character-based automated text summarization | |
US8392183B2 (en) | Character-based automated media summarization | |
US7796860B2 (en) | Method and system for playing back videos at speeds adapted to content | |
Sundaram et al. | Determining computable scenes in films and their structures using audio-visual memory models | |
JP4935355B2 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
JP4778231B2 (ja) | ビデオシーケンスに対してインデックス付けするシステムおよび方法 | |
JP4449216B2 (ja) | 映像情報の編集方法及び編集装置 | |
EP1081960B1 (en) | Signal processing method and video/voice processing device | |
US20030063130A1 (en) | Reproducing apparatus providing a colored slider bar | |
JP4882746B2 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
US20090025039A1 (en) | Method and apparatus for video digest generation | |
JP4491700B2 (ja) | 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置 | |
JP2002140712A (ja) | Av信号処理装置および方法、プログラム、並びに記録媒体 | |
JP2008022103A (ja) | テレビ番組動画像ハイライト抽出装置及び方法 | |
US20050182503A1 (en) | System and method for the automatic and semi-automatic media editing | |
JP4032122B2 (ja) | 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 | |
JP5096259B2 (ja) | 要約コンテンツ生成装置および要約コンテンツ生成プログラム | |
JP2002281457A (ja) | ビデオ情報再生 | |
JP2000285242A (ja) | 信号処理方法及び映像音声処理装置 | |
JP4835439B2 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
JP2006270233A (ja) | 信号処理方法及び信号記録再生装置 | |
JP2006054622A (ja) | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 | |
JP2005167456A (ja) | Avコンテンツ興趣特徴抽出方法及びavコンテンツ興趣特徴抽出装置 | |
JP2006054619A (ja) | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 | |
WO2014027475A1 (ja) | 記録再生装置、記録再生方法、記録装置及び再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4032122 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
EXPY | Cancellation because of completion of term |