JPH06165107A

JPH06165107A - 動画像ダイジェスト自動表示装置

Info

Publication number: JPH06165107A
Application number: JP31726792A
Authority: JP
Inventors: Yukie Goshima; 雪絵五島; Makoto Fujimoto; 眞藤本
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1992-11-26
Filing date: 1992-11-26
Publication date: 1994-06-10
Anticipated expiration: 2017-05-27
Also published as: JP3286360B2

Abstract

(57)【要約】【目的】ビデオカメラなどで撮影された映像の内容を
短時間、かつ簡単に把握するための、撮影時に行われた
カメラ操作を映像信号から推定し、カメラ操作の区切り
を基に表示画像の選択，表示方法の決定を行うことによ
り、撮影時のユーザの意図に合わせたダイジェストの表
示を可能にする。【構成】ダイジェスト表示の前に、動きベクトル検出
部４では動画像格納媒体３に記録されている映像信号か
ら動きベクトルを検出し、カメラ操作推定部５では動き
ベクトルを用いて、撮影時行われたカメラの操作を推定
しカメラ操作格納媒体６に記録する。ダイジェストを表
示する場合は、カメラ操作格納媒体６に記録されたカメ
ラ操作を基に、ショット区切り検出部７においてカメラ
操作の区切りを検出し、その結果からダイジェスト表示
制御部８において、表示画像または表示方法を決定す
る。表示画像は動画像格納媒体３から出力装置９に転送
され、ダイジェストとして表示される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオカメラなどで撮
影された映像の内容を短時間、かつ簡単に把握するため
の動画像ダイジェスト自動表示装置に関するものであ
る。

【０００２】

【従来の技術】従来、動画像の内容を短時間で把握する
手段としては、ＶＴＲの早送り再生でフレームを均等に
間引いて表示したり、ジョグシャトルダイヤルなどの可
変速再生を用いて表示速度を手動で調整する方法があっ
た。

【０００３】また、ＴＶ番組などのダイジェスト版を作
成する方法としては、例えば特開平３−90968号公報に
開示されているように、予めユーザが画像を見て判断し
た優先度をフレームごとに割り当てることにより、指定
時間内に収まるダイジェストの作成手法が提案されてい
る。ここで優先度は、ある画像をダイジェストとして優
先的に表示して欲しい場合、ダイジェストに長時間表示
して欲しい度合などの、ユーザが感じる重要度合の尺度
とする。

【０００４】

【発明が解決しようとする課題】しかしながら、早送り
再生は画像内容に関係なくフレームを均等に間引くた
め、必要なフレームが省かれたり、反対に不要のフレー
ムが表示されたりするという問題点があった。

【０００５】一方、可変速再生ではユーザの興味や理解
度に適応した速度で画像を表示できるが、長時間にわた
る動画像もすべて手動で操作しなければならないという
問題点があった。

【０００６】また、予めユーザが判断した優先度をフレ
ームごとに割り当てる手法は、他の人に概要を説明する
目的には役立つが、テープに何が録画されていたか知り
たいというような用途に対しては、割り当て作業中に目
的を果たしてしまうので、ダイジェストを作る意味がな
くなってしまう。

【０００７】本発明は、かかる点に鑑み、動画像の区切
りを自動的に検出し、区切りに基づいてダイジェストの
表示方法を制御することにより、手作業なしで画像内容
の把握しやすい映像のダイジェストを表示する動画像ダ
イジェスト自動表示装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明における動画像ダ
イジェスト自動表示装置は、ダイジェストの作成モード
と表示モードをユーザの入力によって設定するダイジェ
スト作成・表示選択部と、カメラにより撮像された画像
を蓄積する動画像格納媒体と、前記ダイジェスト作成・
表示選択部において前記作成モードが設定されていると
き、前記動画像格納媒体からの映像信号を用いて画面内
の動きベクトルを求める動きベクトル検出部と、前記動
きベクトル検出部の出力を用いて入力画像の撮影時のカ
メラ操作を推定するカメラ操作推定部と、前記カメラ操
作推定部の出力を蓄積するカメラ操作格納媒体と、前記
ダイジェスト作成・表示選択部において前記表示モード
が設定されているとき、前記カメラ操作格納媒体からカ
メラ操作の情報を読み込んで操作の区切りを検出するシ
ョット区切り検出部と、前記ショット区切り検出部の出
力に基づき表示する画像の選択、または表示方法の決定
を行うダイジェスト表示制御部と、選択された画像を表
示する出力装置とからなる。

【０００９】

【作用】本発明によれば、画像の映像信号からズーミン
グ，パンニングなどの撮影時のカメラ操作を推定し、カ
メラ操作に応じて表示画像を選択することにより、例え
ばカメラ操作の切り替わりごとに画像を所定時間表示す
るような、ユーザの撮影意図を反映した表示が可能にな
り、内容を把握しやすいダイジェストを表示することが
できる。

【００１０】また、映像信号から自動的に表示画像の選
択を行えるので、予め優先度を割り当てたり、ダイジェ
スト表示時に手動で優先度を操作するなどの手間がな
く、早送り再生と同様の手軽さで画像内容を知ることが
できる。

【００１１】

【実施例】図１は本発明の一実施例における動画像ダイ
ジェスト自動表示装置の構成を示すブロック図である。
本装置はデータベースと、ダイジェスト作成時に動作す
る部分、表示時に動作する部分に分かれている。ここで
データベース２は、ビデオカメラで撮影された画像が記
録されている動画像格納媒体３と、撮影時に行われたと
推定されるカメラ操作を記憶するカメラ操作格納媒体６
の２つから構成されている。また、ダイジェスト作成時
に動作する部分は、ユーザの入力によって「作成」また
は「表示」のモードを設定するダイジェスト作成・表示
選択部１(以下、単に選択部という)と、この選択部１に
おいて「作成」モードが設定されているとき、動画像格
納媒体３からの映像信号を用いて画面内の動きベクトル
を求める動きベクトル検出部４と、この動きベクトル検
出部４の出力を用いて入力画像の撮影時のカメラ操作を
推定するカメラ操作推定部５と、このカメラ操作推定部
５の出力を蓄積するカメラ操作格納媒体６とで構成され
る。

【００１２】また、ダイジェスト表示時に動作する部分
は、選択部１において「表示」モードが設定されている
とき、カメラ操作格納媒体６からカメラ操作の情報を読
み込んで操作の区切りを検出するショット区切り検出部
７と、このショット区切り検出部７の出力に基づきダイ
ジェストとして表示する画像の選択、または表示方法の
決定を行うダイジェスト表示制御部８と、このダイジェ
スト表示制御部８で選択された動画像格納媒体３におけ
る画像をダイジェストとして表示する出力装置９とで構
成される。

【００１３】次に本実施例の動作の概要を説明する。

【００１４】本実施例は、ダイジェストの作成と表示と
いう２つの処理からなっており、ダイジェスト表示の前
に、予め「ダイジェスト作成」の処理を行う必要があ
る。ダイジェスト作成の処理では、ダイジェストの画像
を選択する際に必要な撮影時のカメラ操作を推定する。
ダイジェスト表示時には、データベースに記録されたカ
メラ操作に応じてダイジェストを表示する。ここでのカ
メラ操作は、パンニング，ズーミングなどのカメラの方
向や位置，画角を変化させる操作およびその組み合せと
する。

【００１５】まず、ダイジェスト作成の処理について説
明する。ダイジェスト作成の処理はデータベース２とそ
の左側に示す各部で行われる。

【００１６】選択部１において「作成」モードが設定さ
れると、動画像格納媒体３は動きベクトル検出部４に対
して読み出しを開始し、カメラ操作格納媒体６はカメラ
操作推定部５からの書き込み可能状態となる。動きベク
トル検出部４では動画像格納媒体３から映像信号を入力
し、画面内の所定位置の局所的な動きベクトルを検出す
る。検出された動きベクトルはカメラ操作推定部５に入
力され、撮影時行われたカメラの操作が推定され、パン
ニング，ズーミングなどの各操作量が検出される。検出
された操作量はカメラ操作格納媒体６に記憶される。

【００１７】一方、ダイジェスト表示の処理は、データ
ベース２とその右側に示す各部で行われる。

【００１８】選択部１において「表示」モードが設定さ
れると、動画像格納媒体３はダイジェスト表示制御部８
に対して読み出し可能になり、カメラ操作格納媒体６は
ショット区切り検出部７に対して読み出しを開始する。
ショット区切り検出部７は、カメラ操作格納媒体６から
のカメラ操作を用いてズーミングの開始，パンニングの
終了などの、カメラ操作の区切りとなるフレームを検出
する。ダイジェスト表示制御部８では、ショット区切り
検出部７で得られた区切りを基に、ダイジェストとして
表示する画像とその表示方法を決定する。表示される画
像は動画像格納媒体３から出力装置９に送られ、ダイジ
ェストとして表示される。

【００１９】次に各ブロックにおける動作の詳細を説明
する。

【００２０】まず、動きベクトル検出部４の動作を説明
する。図２は本ブロックにおいて検出する動きベクトル
の画面内での位置を説明するための図である。図２(a)
は全画面で水平，垂直方向にＭ，Ｎ本の直線を格子状に
配列した図であり、Ｍ・Ｎ個の交点は検出すべき動きベ
クトルの位置を示している。以下、Ｍ・Ｎ個の交点を格
子点と呼び、水平，垂直方向で各々ｉ，ｊ番目の格子点
を、格子点(ｉ,ｊ) (１≦ｉ≦Ｍ，１≦ｊ≦Ｎ) と呼ぶ。

【００２１】

【外１】

【００２２】図３は図１に示す動きベクトル検出部４の
構成を示すブロック図であり、図３において、41はバン
ドパスフィルタ(ＢＰＦ)で動画像格納媒体３からの映像
信号を帯域ろ波する。42は代表点値記憶部、43はマッチ
ング部、44は代表点位置記憶部である。

【００２３】図３に示す動きベクトル検出部４による動
きベクトルを求める方法を説明する。

【００２４】動きベクトル検出部４の入力は動画像格納
媒体３からの映像信号であり、ｒフレームに１回(ｒ：
所定数)入力されるように設定されているとする。ここ
で、ある時刻ｔの画像を第０フレーム目の画像とし、以
後、時刻(ｔ＋τ)の画像を第(30・τ)フレーム目の画像
と呼ぶことにする。

【００２５】今、第Ｒフレーム目の画像が入力されたも
のとする。入力画像は、まずＢＰＦ41においてＢＰＦ処
理される。ここで座標位置(ｘ,ｙ)でのＢＰＦ処理後の
画像の値をＩ(ｘ,ｙ)とする。

【００２６】一方、代表点値記憶部42は、ｒフレーム前
すなわち第(Ｒ−ｒ)フレーム目のＢＰＦ処理後の画像の
代表値の値が記憶されている。

【００２７】

【外２】

【００２８】が最小となるｇ，ｈを(２・Ｇ)・(２・Ｈ)の
範囲内(−Ｇ≦ｇ≦Ｇ，−Ｈ≦ｈ≦Ｈ)で探索することに
より、動きベクトル(ｇ,ｈ)が求められる。

【００２９】代表点値記憶部42の内容は、マッチング部
43の処理が終了した後、更新される。具体的には、代表
点位置記憶部44において記憶されている代表点の座標

【００３０】

【外３】

【００３１】を用いて、第Ｒフレーム目のＢＰＦ処理後
の画像の代表点での値を記録する。

【００３２】以上のようにして、入力された画像とｒフ
レーム前の画像の２枚の画像から動きベクトルを求める
ことができる。

【００３３】次にカメラ操作推定部５において、動きベ
クトルからカメラ操作を推定する方法を説明する。

【００３４】動画像から推定できるカメラ操作は、カメ
ラの水平，垂直方向の変化(パンニング，チルティン
グ)，カメラ画角の変化(ズーミング)，カメラの水平・
垂直・前後の位置の変化(トラッキング，ブーミング，
ドリーイング)などが考えられる。本実施例では簡単の
ため、パンニング，チルティング，ズーミングの３種類
の操作を推定する方法を説明する。

【００３５】まず、上記３種類のカメラ操作によってカ
メラ撮像面に投影された点がどのように移動するかを考
える。図４はカメラの撮像面と被写体の位置関係を示す
図であり、カメラの空間の３次元座標を(ｘ,ｙ,ｚ)で表
し、撮像面上の２次元座標を(ｘ,ｙ)で表している。ま
た、カメラの位置を３次元座標の原点Ｏとし、カメラの
光軸をｚ軸とする。撮像面はｚ＝Ｆ(Ｆ：焦点距離)に位
置し、被写体の任意の点の座標ｕ1＝(ｘ1,ｙ1,ｚ1)が撮
像面の座標Ｕ1＝(Ｘ1,Ｙ1)に投影されることを示してい
る。ここで被写体の座標と撮像面上の座標との関係は、

【００３６】

【数１】Ｘ1＝Ｆ・ｘ1／ｚ1 Ｙ1＝Ｆ・ｙ1／ｚ1で表せる。

【００３７】図４の座標を用いて、まずズーミングによ
る被写体の座標の撮像面上の移動を考える。図５(a)は
焦点距離の変化によって起こるズーミングを示したもの
である。同図のように焦点距離がＦからＦ′に変化した
とき、ｕ1の被写体の投影が座標Ｕ1＝(Ｘ1，Ｙ1)から座
標Ｕ2＝(Ｘ2,Ｙ2)に移動する。

【００３８】ただし、(数１)からＵ2はＵ2＝Ｕ1・Ｆ′／Ｆ＝ｆ・Ｕ1 ただし、ｆ＝Ｆ′／Ｆを満たす。

【００３９】同様にして図５(b)を用いてパンニング，
チルティングの場合を考える。パンニング，チルティン
グはそれぞれカメラをｙ軸，ｘ軸について回転する操作
に等しい。同図のようにカメラがｘ軸についてθxだけ
回転した場合、被写体の空間での座標ｕ1はｕ3に移動す
る。ただし、ｕ3は(数２)を満たす。

【００４０】

【数２】

【００４１】ｘに関する回転角θxが十分小さいと仮定
すると、移動後の撮像面上の座標Ｕ3＝(Ｘ3,Ｙ3)に対し
て(数１)の関係から、Ｘ3＝Ｘ1，Ｙ3＝Ｙ1＋Ｆ・θx の関係が導かれる。これを一般化すると、ｘ軸，ｙ軸に
対してともに回転するカメラ操作の場合、任意の座標の
操作前後の関係は、Ｕ3＝Ｕ1＋Ｐただし、Ｐ＝(ｐx，ｐy) ｐx，ｐy：ｘ軸，ｙ軸の回転成分と表すことができる。

【００４２】以上のことからズーミング，パンニング，
チルティングを合成した一般的なカメラ操作に対して、
カメラ操作前後の座標Ｕ1＝(Ｘ1,Ｙ1)，Ｕ′＝(Ｘ′,
Ｙ′)はＵ′＝ｆ・Ｕ＋Ｐを満たすことがわかる。以後ｆをズーム要素、Ｐを回転
ベクトルと呼ぶ。

【００４３】したがって、ズーム要素ｆと回転ベクトル
Ｐを求めることにより、カメラの操作量を推定すること
ができることがわかる。

【００４４】以下に、動きベクトル検出部４で求めた動
きベクトルから、ズーム要素と回転ベクトルを推定する
方法を説明する。ここで、図２に示す格子点(ｉ，ｊ)に
関して、位置(２次元座標)をＵi，ｊ、動きベクトル検
出部４で求められた動きベクトルをｖi，ｊとする。

【００４５】今、ズーム要素ｆ，回転ベクトルＰのカメ
ラ操作が起こったとき、格子点(ｉ，ｊ)は、Ｕ′ｉ,ｊ(ｆ,Ｐ)＝ｆ・Ｕｉ,ｊ＋Ｐの位置に移動するはずである。したがって実際に起こっ
たカメラ操作のズーム要素ｆ，回転ベクトルＰを推定す
るには、実際に移動した位置

【００４６】

【外４】

【００４７】が最小になるようなズーム要素ｆ，回転ベ
クトルＰを求めればよい。誤差Ｅはこのズーム要素ｆ，
回転ベクトルＰに関して２次式なので、誤差Ｅを最小と
するズーム要素ｆ，回転ベクトルＰは一意に、

【００４８】

【数３】

【００４９】と決まる。ただし＜・，・＞は内積を示
す。したがって、カメラ操作推定部５では、動きベクト
ル検出部４から動きベクトルｖi，ｊと格子点位置Ｕi，
ｊを入力し、(数３)によってズーム要素ｆ，回転ベクト
ルＰを計算することにより、ズーミング，パンニング、
チルティングの操作量を推定する。求められたズーム要
素ｆ，回転ベクトルＰはカメラ操作格納媒体６に送られ
記録される。

【００５０】図６は図１に示すショット区切り検出部７
の構成を示すブロック図であり、図６において、71は操
作量記憶部で、第Ｒフレーム目の画像に対するカメラの
操作量ｆ(Ｒ)，ｐx(Ｒ)，ｐy(Ｒ)がそれぞれ記録されて
いる。72は変動検出部で、ｆ，ｐx，ｐyそれぞれに対し
てｒフレーム前の画像と現在入力中の画像の操作量の差
の絶対値｜ｆ(R)−ｆ(R＋r)｜，｜ｐx(R)−ｐx(R＋r)
｜，｜ｐy(R)−ｐy(R＋r)｜を求める。73は判定部で、
変動検出部72からの３つの出力(ｆ,ｐx,ｐy)を閾値設定
部74からの閾値と比較する。閾値設定部74は判定部73で
用いられる閾値をユーザ入力により設定し、閾値の変更
はここで行う。

【００５１】まず、図６に示すショット区切り検出部７
の動作の概要について説明する。このブロックはダイジ
ェスト表示のモードに入ったとき、カメラ操作格納媒体
６からズーム要素ｆ，回転ベクトルＰを読み込み、ショ
ットの区切りを検出する。ここでショットは、例えば被
写体にズームアップして撮影するアップショット、遠く
の風景を撮影するロングショットなどの連続するカメラ
操作をひとまとめにした動画像の単位を示す。したがっ
てショットの区切りはズーミングの開始点、パンニング
の終了点などのカメラ操作の変化点を見つけることによ
って検出できる。

【００５２】ただし、推定されるズーム要素ｆ，回転ベ
クトルＰには、撮影者が意図的に行ったカメラ操作の他
に、カメラのわずかなぶれなどを含んでいるため、カメ
ラ操作の急激な変化だけを検出する。すなわち、カメラ
の変化点をズーム要素ｆまたは回転ベクトルＰが、ある
閾値以上変化する時点とする。

【００５３】今、操作量記憶部71には、第Ｒフレーム目
の画像に対するカメラの操作量ｆ(R)，ｐx(R)，ｐy(R)
がそれぞれ記憶されているとする。カメラ操作格納媒体
６はｒフレームごとにカメラ操作が記録されているの
で、カメラ操作格納媒体６から第(Ｒ＋ｒ)フレーム目の
画像のカメラ操作、ｆ(R+r)，ｐx(R+r)，ｐy(R+r)を読
み込む。

【００５４】変動検出部72はｆ，ｐx，ｐyそれぞれに対
して、ｒフレーム前の画像と現在入力中の画像の操作量
の差の絶対値、｜ｆ(R)−ｆ(R+r)｜，｜ｐx(R)−ｐx(R+
r)｜，｜ｐy(R)−ｐy(R+r)｜を求める。判定部73は、変
動検出部72からの３つの出力をユーザ入力により設定さ
れた閾値設定部74からのそれぞれの閾値と比較する。３
つの操作量の差の絶対値のうち、少なくとも１つが閾値
以上のとき、第(Ｒ＋ｒ)フレーム目にカメラ操作が変化
した、すなわちショットの区切りであると判定する。第
Ｒフレーム目の操作量が変動検出部72で用いられた後、
操作量記憶部71の内容は更新され、ｆ(R+r)，ｐx(R+
r)，ｐy(R+r)が記憶される。

【００５５】以上がフレームの画像に対するショット区
切り検出部７の動作である。次に、実際の例でショット
区切りを検出する手順を説明する。図７は実際の操作量
の時間変化の一例である。図７の横軸はフレーム番号、
(a)，(b)，(c)はそれぞれｆ，ｐx，ｐyに対応してお
り、上段は各操作量、下段は変化量を示している。ま
た、下段の水平方向に引かれた２つの破線は各操作量の
閾値である。変化量が閾値の範囲を超えたフレーム番号
には矢印を付けてあり、(d)の黒丸印に示すように、５
つのショット区切りが検出されている。

【００５６】以上のように、操作量の変化量を閾値と比
較することにより、ショットの区切りを検出できる。

【００５７】図８は図１に示すダイジェスト表示制御部
８の構成を示すブロック図であり、図８において、81は
カウンタ82のカウンタ制御部、83は動画像格納媒体３の
画像を表示するかどうかを決定する画像選択部、84は動
画像格納媒体３とカメラ操作格納媒体６に対して第Ｒフ
レーム目の処理が終了したことを知らせ、次のフレーム
の画像に対する処理を開始する同期部である。

【００５８】また前記カウンタ82は自然数の値を１つ記
憶するメモリであり、初期値として０が設定されてい
る。

【００５９】以下に、ショットの区切りごとに所定フレ
ーム数の画像を選択しダイジェストとして表示する方法
を説明する。ここで、カウンタ82は初期値として０が設
定されているものとし、また現在、ショット区切り検出
部７で処理したカメラ操作は、第Ｒフレーム目の画像に
対応するものとする。

【００６０】まず、カウンタ制御部81は、ショット区切
り検出部７から、第Ｒフレーム目がショット区切りかど
うかの判定結果を入力する。判定結果が“ショット区切
りである”のとき、カウンタ82の内容を所定の値ＴＨに
変更する。判定結果が“ショット区切りでない”のと
き、カウンタ82の値を１つデクリメントとする。ただ
し、カウンタ82の内容が０のときは、そのままの値０を
保持させる。

【００６１】カウンタ制御部81の処理が終わると、画像
選択部83において画像を表示するかどうか決定する。す
なわち、カウンタ82の内容が０より大のとき、第Ｒフレ
ーム目の画像を表示画像として選び、動画像格納媒体３
からの映像信号を出力装置９に転送する。出力装置９で
は送られた映像をダイジェストとして表示する。その
後、同期部84は動画像格納媒体３とカメラ操作格納媒体
６に対して、第Ｒフレーム目の処理が終了したことを知
らせ、次のフレームの画像に対する処理を開始する。

【００６２】上記処理を図７の例に対して行うと、図７
(e)のようにダイジェストとして選択された期間の画像
が出力される。ただし、１の値をもつフレームの画像が
ダイジェストとして表示されることを示す。

【００６３】以上のように、撮影時のカメラ操作を推定
しカメラ操作の区切りに基づいて表示する画像を選択す
ることにより、ユーザの撮影意図に基づくダイジェスト
表示が行える。

【００６４】なお、上記実施例では代表点マッチングに
よって動きベクトルを検出したが、ブロックマッチング
や特徴点マッチングなどの手法を用いても同様である。

【００６５】また、上記実施例ではカメラの操作推定を
ズーミング，パンニング，チルティングの３つの操作に
限定して行ったが、ドリーミングなどの他の操作を推定
しても同様である。

【００６６】また、上記実施例ではダイジェストの表示
方法として、ショット区切りごとに所定時間画像を表示
する方法を説明したが、画面を多分割してショット区切
りの画像を１画面上で同時に表示するなどの方法をとっ
ても同様である。

【００６７】

【発明の効果】以上説明したように本発明の動画像ダイ
ジェスト自動表示装置は、画像の映像信号からズーミン
グ，パンニングなどの撮影時のカメラ操作を推定し、カ
メラ操作に応じて表示画像を選択することにより、ユー
ザの撮影意図を反映した表示が可能になり、内容の把握
しやすいダイジェストを表示することができる。

【００６８】さらに映像信号から自動的に表示画像の選
択を行えるので、予め優先度を割り当てたり、ダイジェ
スト表示時に手動で優先度を操作するなどの手間がな
く、画像内容の把握が早送り再生と同様の簡単操作で行
える動画像ダイジェスト自動表示装置を提供できる。

【図面の簡単な説明】

【図１】本発明の一実施例における動画像ダイジェスト
自動表示装置の構成を示すブロック図である。

【図２】図１の動きベクトル検出部の動作を説明する図
であり、(a)は動きベクトル検出部において動きベクト
ルを検出する格子点の位置を示す説明図、(b)は１つの
格子点に対する代表点の位置を示す説明図である。

【図３】図１の動きベクトル検出部の構成を示すブロッ
ク図である。

【図４】カメラの撮像面と被写体の位置関係を示す説明
図である。

【図５】カメラの撮像面と被写体の位置変化を説明する
図であり、(a)はズーミングの場合、(b)はパンニング，
チルティングの場合を示す。

【図６】図１のショット区切り検出部の構成を示すブロ
ック図である。

【図７】図６の操作量の時間変化の一例を示す図であ
り、(a)はズーム要素ｆとその変動量の一例図、(b)は回
転ベクトルＰのｘ成分ｐxとその変動量の一例図、(c)は
回転ベクトルＰのｙ成分ｐyとその変動量の一例図、(d)
はショットの区切り点を示す図、(e)はダイジェストと
して選択される画像の期間を示す図である。

【図８】図１のダイジェスト表示制御部の構成を示すブ
ロック図である。

【符号の説明】

１…ダイジェスト作成・表示選択部、２…データベー
ス、３…動画像格納媒体、４…動きベクトル検出
部、５…カメラ操作推定部、６…カメラ操作格納媒
体、７…ショット区切り検出部、８…ダイジェスト
表示制御部、９…出力装置、 41…バンドパスフィル
タ(ＢＰＦ)、 42…代表点値記憶部、 43…マッチング
部、 44…代表点位置記憶部、 71…操作量記憶部、
72…変動検出部、 73…判定部、 74…閾値設定部、
81…カウンタ制御部、 82…カウンタ、 83…画像選択
部、 84…同期部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 11/04 Ｂ 7337−5Ｃ

Claims

【特許請求の範囲】

【請求項１】ダイジェストの作成モードと表示モード
をユーザの入力によって設定するダイジェスト作成・表
示選択部と、カメラにより撮像された画像を蓄積する動
画像格納媒体と、前記ダイジェスト作成・表示選択部に
おいて前記作成モードが設定されているとき、前記動画
像格納媒体からの映像信号を用いて画面内の動きベクト
ルを求める動きベクトル検出部と、前記動きベクトル検
出部の出力を用いて入力画像の撮影時のカメラ操作を推
定するカメラ操作推定部と、前記カメラ操作推定部の出
力を蓄積するカメラ操作格納媒体と、前記ダイジェスト
作成・表示選択部において前記表示モードが設定されて
いるとき、前記カメラ操作格納媒体からカメラ操作の情
報を読み込んで操作の区切りを検出するショット区切り
検出部と、前記ショット区切り検出部の出力に基づき表
示する画像の選択、または表示方法の決定を行うダイジ
ェスト表示制御部と、選択された画像を表示する出力装
置を有することを特徴とする動画像ダイジェスト自動表
示装置。