JP3209234B2 - 代表画面抽出方法 - Google Patents
代表画面抽出方法Info
- Publication number
- JP3209234B2 JP3209234B2 JP04353992A JP4353992A JP3209234B2 JP 3209234 B2 JP3209234 B2 JP 3209234B2 JP 04353992 A JP04353992 A JP 04353992A JP 4353992 A JP4353992 A JP 4353992A JP 3209234 B2 JP3209234 B2 JP 3209234B2
- Authority
- JP
- Japan
- Prior art keywords
- representative screen
- image
- shot
- extracting
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Processing Or Creating Images (AREA)
Description
る時間連続する映像の中から、該映像の内容を代表する
画面を選択し、抽出する代表画面抽出方法に関する。
ト、テイク等の先頭画面を用いていた。このショット、
テイク等の先頭画面を抽出する方法として、映像情報を
解析してショット、テイク等の変り目であるカット点を
検出する方法がある[例えば、谷中他、“動画像信号の
拾い見装置”、特開昭64−68084号公報]。音声
情報を解析してその特徴点により代表画面を抽出する手
法も報告されている[外村他、“シーン抽出処理方
法”、特開平3−80782号公報]。また、人により
規定された映像/画像の優先度を用いて代表画面を抽出
する方法が報告されている[安部他、“動画像ダイジェ
スト自動生成方式”特開平3−90968号公報]。
従来技術は、映像の代表画面を、ショット、テイク等の
先頭画面のみと考えた抽出手法であり、ショット、テイ
ク等の内容が持つ物理的特徴を考慮していないため、シ
ョット、テイク等の画面の内容が必ずしも適切な代表画
面とはいえない。また、優先度を考慮して代表画面を抽
出する方法は、膨大な映像/画像の優先度の人による規
定のため、処理の自動化に問題がある。
に抽出することができる代表画面抽出方法を提供するこ
とである。
に、本発明の第1の代表画面抽出方法は、映像のカット
点を検出し、該カット点で規定される各ショットについ
てカメラ操作の有無を判定し、カメラ操作無しと判定さ
れたショットについて、該ショットの動きベクトルを求
め、その時空間分布をクラスタリングして各クラスタに
おける重心点に対応するフレーム画像を代表画面として
選択し、抽出する。本発明の第2の代表画面抽出方法
は、映像のカット点を検出し、該カット点で規定される
各ショットについてカメラ操作の有無を判定し、カメラ
操作有りと判定されたショットについて、その推定した
カメラ操作パラメータの極値に対応するフレームの画像
を代表画面として選択し、抽出する。 本発明の第3の代
表画面抽出方法は、映像のカット点を検出し、該カット
点で規定される各ショットについてカメラ操作の有無を
判定し、カメラ操作有りと判定されたショットについ
て、その推定したカメラ操作パラメータを該ショットか
ら差し引き、該ショットの動きベクトルを求め、その時
空間分布をクラスタリングして各クラスタにおける重心
点に対応するフレーム画像を代表画面として選択し、抽
出する。
考慮するので、適切な代表画面の抽出が可能となる。ま
た、本発明の処理は計算処理が可能なため、代表画面を
自動的に抽出することができる。
て説明する。
法のアルゴリズムを示す流れ図、図2はテイク/ショッ
ト検出に用いた動きベクトル差分のランダム頻度分布
図、図3はカメラ操作有無検出に用いた動きベクトル差
分の頻度分布図、図4は代表画面抽出に用いたカメラ操
作パラメータの特徴を示す図、図5は代表画面抽出に用
いた動き方向時間変化の特徴を示す図である。従来用い
られている代表画面抽出方法を、図1に破線で示した。
この従来の代表画面抽出方法は、テイク/ショット規定
の手順(手順A)のみで構成されて、代表画面を規定さ
れたテイク/ショットの先頭画面としていた。
B,C,Dの手順を加えたことに特徴を有し、テイク/
ショットの内容が持つ物理的特徴を考慮して代表画面を
抽出する。また、映像を撮影する時、必ずカメラ操作が
行われる。本実施例においてカメラ操作を静止とそれ以
外の大きく2つに分類し、静止をカメラ操作なしと見な
した。本実施例の特徴としてカメラ操作ありのテイク/
ショットの場合、代表画面の一つとしてカメラ操作が終
る最終画面を抽出することがある。通常、カメラ操作の
終りはテイク/ショットの終りであり、カメラ操作あり
の場合、テイク/ショットの最終画面が代表画面の1つ
になる。この代表画面抽出は、放送局、映画等の分野で
カメラ操作ありで撮影されたテイク/ショットの最終画
面を“パンじり、ズームじり等”と呼び撮影/編集等の
際慎重に扱っていることに起因する。以下、各手順A,
B,C,Dについて文献を引用するとともにその例を示
し、本実施例の代表画面抽出方法を詳細に説明する。
て、最近多くの発表がなされている(大辻他、“輝度情
報を使った動画ブラウジング”、信学技報、IE90−
103,1991等)。これらの方法は、基本的に映像
情報のフレーム間差分を用いている。この手法は、テイ
ク/ショットのつなぎ目(カット点)のフレーム間にお
いて映像情報(輝度、色度等)が急激に変化することを
用いている。ここでは、処理Aの一例として動きベクト
ルのフレーム間差分ベクトルのランダム頻度分布を用い
たテイク/ショットの規定結果を図2に示す。図2中の
23,24,25の範囲がテイク/ショットであり、点
21、点22がカット点である。ここで用いた手法は、
テイク/ショットのつなぎ目のフレーム間における動き
のなめらかさの不連続性であり、手法的にフレーム間の
ブロック単位の相関から算出される動きベクトルの差分
ベクトルを用いている。この手法を用いるとテイク/シ
ョットのつなぎ目では、結果的に算出される差分ベクト
ルはフレーム内でランダム性を見せる。このランダム性
のフレーム毎の大きさを表した図が、図2である。ラン
ダム性の大きなフレームがテイク/ショットのつなぎ目
であるカット点である。
いて、その一例として規定結果を図3に示す。図中のテ
イク/ショット31、テイク/ショット33は、カメラ
操作なし、図3中のテイク/ショット32は、カメラ操
作ありを示している。この手法は、フレーム間で見られ
るカメラ操作による動きのなめらかさを基としている。
手法としてフレーム間より算出される動きベクトルの時
間差分ベクトルの大きさゼロのフレーム内の総和を用い
ている。時間差分ベクトルの大きさゼロは動きのなめら
かさを表しておりフレーム内の総和が大きい場合、カメ
ラ操作が行われていると規定できる。また、図2と図3
とから実施例に用いた映像は、4つのテイク/ショット
(テイク/ショット31,32,33と最終フレームの
テイク/ショット)から構成されていることを示してい
る。この処理段階でカメラ操作ありと規定できた場合、
代表画面の一つとしてテイク/ショットの最終画面を抽
出する。
手順Cにおいてそのテイク/ショットの持つ物理的特徴
を抽出する。この手順において特徴なしと規定された場
合、代表画面はテイク/ショットの先頭画面とする。特
徴ありと規定される場合の一例をテイク/ショット31
の場合で示す。テイク/ショット31の動きベクトルの
時間に対する方向の変化の様子を図5に示す。図5中の
分布は各分布の広がりによりクラスタリングされてお
り、各クラスタを記号(□、△、*、◇)別に示してあ
る。テイク/ショット31の場合動きベクトルの方向の
時間変化に特徴を有し、ベクトル方向vs時間空間にお
いて分布のクラスタが見られる。その特徴を表す図が図
5である。テイク/ショット31の代表画面は、物理的
特徴点(クラスタ分布の重心等)である点51、点5
2、点53にそれぞれ示した3つの画面になる。
たテイク/ショットに関してそれらの持つ物理的特徴を
手順Dで抽出する。物理的特徴の一つであるカメラ操作
パラメータ推定法に関して、「阿久津他、“動画像イン
デクシングを目的としたカメラ操作の規定方法”、第2
回機能図形情報システムシンポジウム講演論文集、p
p.107−112,1991」等でその手法が報告さ
れている。これらの方法は、映像から算出された動きベ
クトルを用いている。カメラ操作により生じる動きベク
トルの時空間的規則性(動きベクトルの時間的連続性、
発散点/収束点位置、ベクトルの大きさ、向き)により
カメラ操作を規定している。処理Dの一例として阿久津
等の手法を用いてカメラ操作を規定した結果を図3に示
す。
したカメラ操作パラメータを図4に示す。図4中の41
は、カメラ操作パラメータ空間(時間軸を持たない)を
示し、pan(f)はパンパラメータ、tilt(f)
はチルトパラメータ、zoom(f)はズームパラメー
タをそれぞれ示し、画面速度[ピクセル/フレーム]を
表す。テイク/ショット32の代表画面は、最終画面と
パンパラメータpan(f),チルトパラメータtil
t(f),ズームパラメータzoom(f)の物理的特
徴点(極値等)である点41、点42、点43に示した
計4つの画面になる。
のテイク/ショットから差し引き、カメラ操作なしとし
て手順Bにもどり手順Cにおいて物理的特徴を抽出する
ことも可能である。
する装置のブロック図である。この装置は、映像信号を
入力する映像信号入力部61と、手順Aの処理を行なう
テイク/ショット規定部62と、手順Bの処理を行なう
カメラ操作規定部63と、手順C,Dの処理を行なう物
理的特徴抽出部64と、代表画面を選択し、抽出する代
表画面出力部65で構成されている。
明したが、本発明は、前記実施例に限定されるものでは
なく、その要旨を逸脱しない範囲において種々の変更が
可能であることは言うまでもない。また、代表画面抽出
のために用いる映像の物理的特徴空間は、実施例に示し
た動きを初め、輝度、色相、音声等全ての映像情報が該
当することは、同様に言うまでもない。
いての統計的解析を行い該映像の撮影時のカメラ操作の
時間的特徴と映像の時空間的特徴を算出し、該算出結果
から前記特徴量の変化点を求め、この変化点を与えるフ
レームの画像を代表画面として選択し、抽出することに
より、適切な代表画面を自動的に抽出することが可能と
なる効果がある。
リズムを示す流れ図である。
分のランダム頻度分布図である。
の頻度分布図である。
特徴を示す図である。
を示す図である。
のブロック図である。
Claims (3)
- 【請求項1】 フレームを単位としある時間連続する映
像の中から、該映像の内容を代表する画像を選択し、抽
出する代表画面抽出方法であって、映像のカット点を検出し、該カット点で規定される各シ
ョットについてカメラ操作の有無を判定し、カメラ操作
無しと判定されたショットについて、該ショットの動き
ベクトルを求め、その時空間分布をクラスタリングして
各クラスタにおける重心点に対応する フレーム画像を代
表画面として選択し、抽出する代表画面抽出方法。 - 【請求項2】 フレームを単位としある時間連続する映
像の中から、該映像の内容を代表する画像を選択し、抽
出する代表画面抽出方法であって、 映像のカット点を検出し、該カット点で規定される各シ
ョットについてカメラ操作の有無を判定し、カメラ操作
有りと判定されたショットについて、その推定したカメ
ラ操作パラメータの極値に対応するフレームの画像を代
表画面として選択し、抽出する代表画面抽出方法。 - 【請求項3】 フレームを単位としある時間連続する映
像の中から、該映像の内容を代表する画像を選択し、抽
出する代表画面抽出方法であって、 映像のカット点を検出し、該カット点で規定される各シ
ョットについてカメラ操作の有無を判定し、カメラ操作
有りと判定されたショットについて、その推定したカメ
ラ操作パラメータを該ショットから差し引き、該ショッ
トの動きベクトルを求め、その時空間分布をクラスタリ
ングして各クラスタにおける重心点に対応するフレーム
画像を代表画面として選択し、抽出する代表画面抽出方
法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04353992A JP3209234B2 (ja) | 1992-02-28 | 1992-02-28 | 代表画面抽出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04353992A JP3209234B2 (ja) | 1992-02-28 | 1992-02-28 | 代表画面抽出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05244475A JPH05244475A (ja) | 1993-09-21 |
JP3209234B2 true JP3209234B2 (ja) | 2001-09-17 |
Family
ID=12666548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04353992A Expired - Lifetime JP3209234B2 (ja) | 1992-02-28 | 1992-02-28 | 代表画面抽出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3209234B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06165107A (ja) * | 1992-11-26 | 1994-06-10 | Matsushita Electric Ind Co Ltd | 動画像ダイジェスト自動表示装置 |
KR101932573B1 (ko) * | 2018-06-19 | 2018-12-27 | 성우판금 주식회사 | 진동 흡수형 단열 창호 시스템 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6072542A (en) * | 1997-11-25 | 2000-06-06 | Fuji Xerox Co., Ltd. | Automatic video segmentation using hidden markov model |
-
1992
- 1992-02-28 JP JP04353992A patent/JP3209234B2/ja not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06165107A (ja) * | 1992-11-26 | 1994-06-10 | Matsushita Electric Ind Co Ltd | 動画像ダイジェスト自動表示装置 |
KR101932573B1 (ko) * | 2018-06-19 | 2018-12-27 | 성우판금 주식회사 | 진동 흡수형 단열 창호 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JPH05244475A (ja) | 1993-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1984893B1 (en) | Method and apparatus for modifying a moving image sequence | |
CN1846445B (zh) | 基于遮蔽检测对像素的时间插值 | |
EP2030440B1 (en) | Scaling an image based on a motion vector | |
Tonomura et al. | Structured video computing | |
US5808664A (en) | Method of converting two-dimensional images into three-dimensional images | |
KR100563866B1 (ko) | 영상 신호의 디인터레이스 방법 및 장치 | |
EP0666687B1 (en) | Method for detecting camera motion induced scene changes | |
EP0729117B1 (en) | Method and apparatus for detecting a point of change in moving images | |
US7123769B2 (en) | Shot boundary detection | |
CN108184165B (zh) | 视频播放方法、电子装置和计算机可读存储介质 | |
JP3656036B2 (ja) | Mpeg圧縮ビデオ環境でのディゾルブ/フェード検出方法 | |
JPH08307820A (ja) | インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法 | |
JP2006510072A (ja) | 一様なカラーセグメントを検出するための方法及びシステム | |
JP2006513661A (ja) | バックグラウンド動きベクトル検出方法及び装置 | |
JP2007506333A (ja) | 動きベクトルフィールド再タイミング | |
JP3240871B2 (ja) | 映像要約方法 | |
JP3209234B2 (ja) | 代表画面抽出方法 | |
JP2957851B2 (ja) | 手振れ補正方法 | |
JPH07236153A (ja) | 動画像のカット点検出およびカット画面グループ検出装置 | |
JP3609236B2 (ja) | 映像テロップ検出方法および装置 | |
JP2006518960A (ja) | ショット切れ目検出 | |
JP3213105B2 (ja) | 映像の構図自動決定処理方法 | |
JP4223762B2 (ja) | 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム | |
JPH03214364A (ja) | シーン変化検出方法 | |
JP4166463B2 (ja) | 映像生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070713 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080713 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080713 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090713 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090713 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 9 |