JPH10334264A

JPH10334264A - 映像一覧表示方法および映像一覧表示プログラムを記録した記録媒体

Info

Publication number: JPH10334264A
Application number: JP9140349A
Authority: JP
Inventors: Yukinobu Taniguchi; 行信谷口; Akito Akutsu; 明人阿久津; Yoshinobu Tonomura; 佳伸外村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1997-05-29
Filing date: 1997-05-29
Publication date: 1998-12-18
Anticipated expiration: 2017-05-29
Also published as: JP3529587B2

Abstract

(57)【要約】【課題】非定形の複数の代表画像をレイアウトして一
覧表示を行う際に無駄な余白を少なくするとともに、時
間的前後関係を保存する。【解決手段】ステップ１１で、映像から代表画像を複
数抽出する。ステップ１２で、時間的前後から生じる制
約関係を満たす可能なレイアウトを全て列挙する。ステ
ップ１３で、列挙したレイアウトのそれぞれについて空
間占有率を計算し、それが最小のものを選択する。ステ
ップ１４では、採用されたレイアウトにしたがって代表
画像を合成表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像から抽出され
た静止画像である複数の代表画像をコンピュータ画面上
あるいは紙の上に合成表示することによって、映像を時
間順に見なくてもその内容の概略を短時間で把握できる
ようにする映像一覧表示方法および映像一覧表示プログ
ラムを記録した記録媒体に関する。

【０００２】

【従来の技術】ビデオデッキを使ってテープの中から所
望の画面を探し出すためには、早送り、巻き戻し操作を
繰り返すしかなく、時間がかかるという問題点があっ
た。

【０００３】従来技術として、映像の輝度あるいは色分
布の時間的な変化に基づいて場面の切り替わり（カッ
ト）を自動的に検出し、場面ごとに１枚あるいは複数枚
の画像を代表画像として抽出して紙の上に一覧表示する
方法（従来技術１）が開示されている（外村、谷口、阿
久津：Paper Video:紙を用いた新しい映像インタフェー
ス、信学技報、ＩＥ９４−５９，ｐｐ．１５−２０，１
９９４）。図１５に示すように、場面の変わり目の画像
を紙の上に合成表示することによって、映像を再生して
見なくてもその概略を大雑把に把握できる。

【０００４】前記文献においては全ての代表画像が同じ
大きさを持つので、紙やコンピュータディスプレイな
ど、平面上にレイアウトするときに特別の工夫を要しな
かった。左上から右下に向かって等間隔に画像を並べれ
ばそれでよかった。しかし、抽出される代表画像の大き
さが一定していない。すなわち、不定形の場合、単純な
レイアウト方法では、図１６に示すように、代表画像Ｐ
３０１〜Ｐ３０７をレイアウトする場合、無駄な余白
（図中斜線部）ができてしまい、詰め込むことのできる
情報が少なくなるという問題があった。そこで、図１７
に示すように、無駄な余白がなるべく生じないようにレ
イアウトすることが望ましい。

【０００５】

【発明が解決しようとする課題】従来から、非定形の図
形を平面上に重ならないように詰め込む方法（従来技術
２）が開示されている。例えば、Column-Based Stirip
Packing Using Orderedand Compliant Containment, Ka
ren Daniels and Victor J, Milenkovic, Proceedings
of the First ACM Workshop on Applied Computational
Geometry (WACG), edited by Ming C. Lin and Dinesh
Manocha, 1996, p.33-38, Lecture Notes in Computer
Science, Springer-Verlag. この文献の方法は図１８
に示すように決まった面積の布地から服の型を最も効率
的に切り抜く応用を目的として開発されたものである。
本発明で対象としている映像においては時間的順序が重
要であり、代表画像をどの順序でレイアウトしてもよい
という訳ではないので、前記文献の方法をそのまま適用
することはできない。前記文献の方法を使うと、時間的
な前後関係に関係なく代表画像をレイアウトしてしまう
（例えば、ページの先頭に最後の場面の代表画像がレイ
アウトされるなど）という不都合があり、映像の時間的
な推移を理解できなくなるからである。

【０００６】さらに、もう一つの問題点として、従来技
術１では映像の内容の切れ目がどこにあるかを把握しづ
らいことがあった。文章では、パラグラフの先頭で改行
するとか、章の先頭には章を簡潔に表現する題を太字で
置くといったレイアウト上の規則があり、レイアウトに
よって文章の切れ目が直感的に理解できるようになって
いる。映像の場合も、文章と同様に内容の切れ目、例え
ば、話題の転換点、テレビ番組における番組からＣＭへ
の切り替わり、などが存在し、そのような構造を反映し
た一覧が望ましい。

【０００７】本発明の目的は、非定形の複数の代表画像
をレイアウトして一覧表示を行う際に無駄な余白を少な
くするとともに、時間的前後関係を保存したレイアウト
を行い、映像の切れ目を直感的に理解できるようなレイ
アウトを行うことができる映像一覧表示方法および映像
一覧プログラムを記録した記録媒体を提供することであ
る。

【０００８】

【課題を解決するための手段】本発明の映像一覧表示方
法は、映像から非定形の画像を複数個代表画像として抽
出あるいは合成し、限られた平面領域（表示ウィンドウ
や紙の領域に対応する）に重なりを持たないようにレイ
アウトする際に、非定形代表画像を時間的前後関係から
生じるレイアウト制約を満たすという条件の下で、空間
占有率を高めるようにレイアウトすることを特徴とす
る。時間的前後関係から生じるレイアウト制約を課すこ
とにより、無駄の余白を少なくするとともに、映像にと
って重要である時間的前後関係を保存したレイアウトを
行うことができるようになり、効率的な映像一覧が実現
できる。

【０００９】請求項２の発明は、前記複数の代表画像を
時間順に取り出してレイアウトしてゆくことを特徴とし
ている。より詳細には、それぞれの代表画像について、
まだ占有されていない空間に代表画像が収まり、かつ前
記レイアウト制約を満たすレイアウトのうち無駄になる
領域の面積が最小となるレイアウトを採用する。本発明
の方法によれば、可能なレイアウトを全て列挙する必要
がなくなるので計算コストが削減できる。空間占有率を
最大化する最適解が得られる訳ではないが、最適に近い
解を高速に得ることができる。

【００１０】請求項３の発明は、映像の内容の切り替わ
りを複数のレベルで検出し、切り替わり後の代表画像を
切り替わりのレベルに応じて第２のレイアウト制約を課
してレイアウトすることを特徴とする。大きな意味の切
り替わりがあったところで改行する、すなわち、左端に
接するというレイアウト制約を課すとか、余白に入れる
ようにして、意味の切れ目を明確に表現することができ
るようになる。

【００１１】請求項４の発明は、代表画像を空間的にレ
イアウトする際に、空間占有率を高めるように代表画像
の形状を修正することを特徴とする。代表画像が与えら
れた平面領域（ウィンドウサイズや紙のサイズ）からは
み出してしまう場合には適当に縮小することによっては
み出さないようにすることができる。このように、代表
画像に微少な修正を加えることによって、見た目を大き
く劣化させないで空間的占有率を大きく高めることがで
きる。

【００１２】請求項５の発明は、代表画像として、場面
の切り替わりであるカットを基にして抽出された画像
と、カメラの動きを相殺して連続的な画像を変形させな
がら合成したパノラマ画像のいずれか一方あるいは両方
を含むことを特徴とする。カットを基にして代表画像を
抽出することによって人が代表画像を手動で選択する手
間を省くことができる。カメラの動きを相殺してパノラ
マ画像を作成することによって、被写体を的確に表現し
た代表画像を得ることができる。

【００１３】請求項６の発明は、コンピュータによって
映像データから抽出あるいは合成された非定形の複数の
代表画像を、限られた平面領域に重なりを持たないよう
にレイアウトし表示する映像一覧表示プログラムを記録
した記録媒体であって、該プログラムは、該非定形代表
画像が時間的前後関係から生じるレイアウト制約を満た
すという条件の下で空間占有率を高めるレイアウトを採
用する特徴とする。

【００１４】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００１５】図１は本発明の第１の実施形態（請求項１
の発明に対応）の処理の流れ図である。

【００１６】ステップ１１では映像から代表画像を複数
個抽出する。代表画像の抽出方法としては、従来技術１
に示されている方法を利用することができる。また、映
像からカメラの動きを推定し、推定されたカメラの動き
を相殺するように画像を重ね合わせてパノラマ画像を合
成し、それを代表画像とすることもできる。具体的には
特開平５−３０４６７５「異なる焦点距離または異なる
視域の複数の像を使用した高解像度静止画像を得る方法
および装置」に開示されている方法を使うことができ
る。

【００１７】具体例として図２の三つの代表画面Ｐ１、
Ｐ２、Ｐ３がこの順に抽出された場合を考える。代表画
像Ｐ１は幅ｖ１、高さｈ１、代表画像Ｐ２は幅ｖ２、高
さｈ１、代表画像Ｐ３は幅ｖ１、高さｈ３の代表画像で
あり、これらを幅ｖ３、高さｈ４の矩形領域Ａ１に重な
りを持たないようにレイアウトする。ここでは簡単のた
め、代表画像Ｐ１〜Ｐ３が全て矩形である場合について
説明するが、矩形でない場合にも代表画像を囲む最小の
矩形を考えれば同様の方法を適用できる。

【００１８】ステップ１２では、時間前後関係から生じ
る制約条件を満たす可能なレイアウトを全て列挙する。
ここで制約条件として「代表画像Ｐｉ＋１は代表画像Ｐ
ｉの右隣りにあるか、代表画像Ｐｉの左下にある」（レ
イアウト制約Ｒ１）というものをとる。直感的な説明を
すれば、横書きの文章と同じように、直前の代表画像の
右隣りに代表画像が収まるのであればそこにレイアウト
し、代表画像が空白に収まらなくなったら改行して左下
にレイアウトするようにする。図３（１），（２），
（３）に示すレイアウトはこの制約条件を満たすが、図
３（４）に示すレイアウトはこの制約を満たさない。こ
の制約条件を、より厳密に定義すると、全てのｉについ
て、xmax(Pi)<xmin(Pi+1)、かつymin(Pi+1)>ymin(Pi),
またはymin(Pi+1)>ymax(Pi)を満たすことである。ただ
し、ここで、ｘｙ座標系は図３に示した原点と向きを持
つものとし、ｘｍａｘ（Ｐ），ｘｍｉｎ（Ｐ），ｙｍａ
ｘ（Ｐ），ｙｍｉｎ（Ｐ）はそれぞれ領域Ｐのｘ座標の
最大値、最小値、ｙ座標値の最大値、最小値を表す。

【００１９】図２に示した具体例についてこの制約を満
たすレイアウトを列挙すると図４に示す三通りがある。

【００２０】ステップ１３では、列挙したレイアウトの
それぞれについて空間占有率を計算し、それが最小のも
のを選択する。ここで空間占有率を「レイアウトされた
矩形の全てを囲む最小の矩形の高さ」と定義する。図４
（１），（２），（３）の場合には高さがそれぞれｈ
３，ｈ２，ｈ４となるので、高さが最小のレイアウト
（図４（２））を採用する。

【００２１】ステップ１４では、採用されたレイアウト
にしたがって代表画像をコンピュータ画面に合成表示し
たり、プリンタにデータを送出したりする。

【００２２】ここでは、レイアウト制約として「代表画
像Ｐｉ＋１は代表画像Ｐｉの右隣りにあるか、代表画像
Ｐｉの左下にある」というもの（欧文の横書きと同じ並
び）を用いたが、その他様々なものが考えられる。縦書
きの日本文のように、右上から下に向けて画像をレイア
ウトしていくようにするには、「代表画像Ｐｉ＋１は代
表画像Ｐｉの下隣りにあるか、または左上にある」とい
うレイアウト制約を用いればよい。漫画のこまのように
右上から左に向けて画像をレイアウトするようにするこ
ともできる。また、上記実施形態は全て代表画像を埋め
込む平面領域を矩形としたが、矩形に限るわけではな
い。穴の空いた矩形や任意の多角形を平面領域とするこ
とができる。

【００２３】図５は本発明の第２の実施形態（請求項２
の発明に対応）の処理の流れ図である。

【００２４】第１の実施形態では可能なレイアウトを全
て列挙したが、代表画像の数が大きくなると可能なレイ
アウトの数は急増するので計算コストが膨大になるとい
う問題がある。本実施形態は、最適解は得られないが最
適に近い解を高速に求めることができる方法である。

【００２５】本実施形態では、代表画像Ｐｉを時間順
（ｉ＝１，２，３，・・・の順）に最適と思われる位置
に順番にレイアウトしていく、ステップ１５では代表画
像の番号を表す変数ｉを１に初期化する。ステップ１６
では、既に代表画像Ｐ１，・・・，Ｐｉ−１がレイアウ
トされているという条件の下で代表画像Ｐｉの可能なレ
イアウトを全て列挙する（代表画像Ｐ１，・・・・，Ｐ
ｉ−１が既にレイアウトされているという条件の下で可
能なレイアウトを列挙するので、第１の実施形態の場合
に比べて列挙されるレイアウトの数は大幅に減少す
る）。ステップ１７では、それぞれのレイアウトについ
て無駄になる領域の面積を求め、それが最小となるレイ
アウトを採用する。ステップ１８でループ変数ｉに１を
足し、ステップ１９で、全ての代表画像をレイアウトし
終えたかどうか判断し、レイアウトし終ったら終了し、
そうでなければステップ１６に戻る。ステップ１６，１
７が請求項２の単位レイアウト手順に対応する。

【００２６】図２に示した具体例をもう一度使って本実
施形態の動作について具体的に説明する。ループ変数ｉ
＝１のとき、既にレイアウトされた代表画像は存在しな
いので図６（１）のレイアウトしかとり得ない。ｉ＝２
のとき、図６（２）と図６（３）の二通りのレイアウト
が可能である。図６（２）のレイアウトには無駄領域が
ないのに対して、図６（３）のレイアウトでは斜線で示
した領域Ａ２が無駄になる（レイアウト制約Ｒ１によっ
て斜線の領域には代表画像Ｐｊ（ｊ＞ｉ）をレイアウト
できない）。したがって、ステップ１７で図６（２）の
レイアウトを採用する。ｉ＝３のときには、図６（４）
のレイアウトしかないので、最終的に図６（４）のレイ
アウトを採用する。最適なレイアウトである図４（２）
にはなっていないが、次に最適な解（図４（１））を得
る。

【００２７】図７はステップ１６と１７の詳細な流れ図
である。

【００２８】前提条件として代表画像Ｐ１，Ｐ２，・・
・，Ｐｉ−１によって既に占有されている領域（段階領
域）の段数がＫ、各階段の角の座標値が（ｘｋ，ｙ
ｋ），（ｋ＝１，・・・，Ｋ）として保持されているも
のとする（ステップ２１）。図８は代表画像Ｐ１，Ｐ
２，・・・，Ｐｉ−１が既にレイアウトされている状態
で代表画像Ｐｉを追加しようとしているところを示した
図である。ｉ＝１のとき、すなわち何もレイアウトされ
ていない初期状態では、Ｋ＝１，ｘ１＝ｙ１＝０であ
る。ステップ１６では代表画像Ｐｉの可能なレイアウト
を全て列挙するわけであるが、上述したレイアウト制約
の下で空間占有率を高めることを考慮すると、可能なレ
イアウトは階段の角に代表画像Ｐｉの左上角が重なるＫ
通りの場合しかない。ステップ２２では、無駄領域の最
小面積を保持する変数ＡＲＥＡｍｉｎを無限大に初期化
するとともに、無駄領域を最小とするｋを保持する変数
ＩＮＤＥＸｍｉｎを１に初期化する。ｋを１に初期化し
（ステップ２３）、ｋ＝１，２・・・，Ｋについて次の
処理を繰り返す。ステップ２４では代表画像Ｐｉの幅が
ｋ段目に収まるかどうかを調べる。もし収まらなければ
ループを抜けステップ３０に移る。もし収まればステッ
プ２５で、無駄領域の面積ＡＲＥＡを図８の斜線で示し
た二つの領域Ａ３，Ａ４の面積の和として求める。斜線
部の面積は各階段の幅と高さから求めることができる。
ステップ２６ではＡＲＥＡｍｉｎと今合計したＡＲＥＡ
を比較し、ＡＲＥＡ＜ＡＲＥＡｍｉｎが成立すれば、ス
テップ２７を実行してＩＮＤＥＸｍｉｎ、ＡＲＥＡｍｉ
ｎをそれぞれＡＲＥＡ，ｋに更新する。ステップ２９で
は全ての段を調べ終えたか否かを検査し、残っていれば
ステップ２４に戻る。ステップ３０ではＩＮＤＥＸｍｉ
ｎ段目の角に代表画像Ｐｉを配置するレイアウトを採用
する。ステップ３１では代表画像Ｐｉの追加により占有
される領域が広がったことに伴って（ｘｋ，ｙｋ）の座
標値を更新する。図８の例では階段の段数Ｋは３，（ｘ
ｋ，ｙｋ）は（ｘ１’，ｙ１’），（ｘ２’，ｙ
２’），（ｘ３’，ｙ３’）へ更新される。

【００２９】なお、本実施形態において、無駄領域をど
のように見積もるかについは様々な変形が可能である。
平均的な代表画像の大きさが与えられていれば、その基
準となるサイズの矩形がレイアウトできない領域を無駄
領域とすることもできる。また、各単位レイアウト手順
の後処理として、その直前あるいは幾つか前にレイアウ
トされた矩形を再レイアウトすることによって空間占有
率を最適化することも可能である。

【００３０】図９は本発明の第３の実施形態の処理の流
れ図である。

【００３１】映像の内容を切り替わりのレベルが２段階
である場合を考える。カメラを切り替えることによって
画像内容が大きく変化する点（カット）をレベルＬ１の
切り替わりと呼ぶ。カットは画像間の差分を取り差分が
大きいところとして検出できる。レベルＬ２の切り替わ
りは、より意味的な変化であり、ここでは、映像の章に
ある単位の切れ目で一面黒の画像が挿入されることを仮
定してそれを検出する。図１０のカットが検出される度
に代表画像Ｐ１１〜Ｐ２１を抽出したものであり、代表
画像Ｐ１４，１９がレベルＬ２の切り替わり点である。

【００３２】図９において、ステップ１１，１５，１
６，１７，１８，１９，１４は第１、第２の実施形態の
それと同等であるので説明を省略する。ステップ３２で
はレイアウトしようとしている代表画像Ｐｉが一面黒の
画像かどうか検査する。もしそうでなければ、ステップ
１６に移り第２の実施形態と同様の処理を行う。一面黒
の画像であれば、ステップ３３で代表画像Ｐｉを削除
し、代表画像Ｐｉ＋１を左端に接するようにレイアウト
する。図１２の具体例についてこの処理を行うと、結果
として図１１のレイアウトを得る。レイアウトＬ１１，
Ｌ１２，Ｌ１３が映像の章にあたる単位である。このよ
うに、内容の切れ目を複数のレベルで検出し、切り替わ
りのレベルにしたがって改行するなどのレイアウト制約
を課すことによって映像の切れ目を明確に表現すること
ができるようになる。

【００３３】なお、映像の意味的な切り替わりを検出す
るために、本実施形態では代表画像が一面黒であること
を検出したが、もちろんそれに限るわけではない。例え
ば、テロップの出現を検出したところで改行することも
できるし、特殊効果の一種であるディゾルブを検出して
改行することもできる。テレビ番組を対象としたシステ
ムでは番組からＣＭに切り替わるところ、あるいはその
逆を検出して、改ページすることもできる。また、画像
情報だけを使うのではなく音声情報の切れ目、例えば無
音区間がある決まった時間だけ継続したところを内容の
切り替わりとすることができる。さらに、改行だけでな
く改ページ、センタリングなどのレイアウトをとるよう
なレイアウト制約に変更することもできる。

【００３４】図１２は本発明の第４の実施形態の処理の
流れ図である。

【００３５】ステップ１１，１５，１８，１９，１４は
第２の実施形態の対応するステップと同様であるので説
明を省略する。本実施形態では、ステップ３５で代表画
像を何％縮小することを許容するかをユーザが設定でき
るようにする。この率を許容縮小率と呼ぶ。ステップ３
６では、ｉ番目の代表画像Ｐｉをレイアウトするにあた
って、許容縮小率までの縮小が許されることを考慮して
可能なレイアウトを列挙する。ステップ３７では無駄に
なる領域の面積を計算してそれが最小になるレイアウト
と縮小率を採用する。

【００３６】具体例として、図１３の例を使って説明す
る。代表画像Ｐ１００が既にレイアウトされている状態
で、代表画像Ｐ１０１（幅ｖ１００、高さｈ１００）を
レイアウトしようとしている。縮小をしない状態では代
表画像Ｐ１００の右隣りにはレイアウトできないか、代
表画像Ｐ１０２のように５０％縮小すれば丁度隙間に収
まり空間占有率が高まる。したがって、この場合図１３
（２）のレイアウトが採用される。許容縮小率を０％に
近くすればするほど、空間占有率は高くなるが、縮小し
すぎると画像の視認性が落ちるので用途に応じて適当な
値を設定する必要がある。紙に印刷する場合、紙の解像
度は高いので許容縮小率を小さ目にとってもよいが、コ
ンピュータ画面に表示する場合には余り小さくしない方
がよい。

【００３７】なお、第４の実施形態では縮小のみを許す
ようにしたが、拡大や切り出し（画像の一部を切り取る
処理）行うようにしてもよい。また、全ての代表画像の
レイアウト処理が終った後で、後処理として、無駄な余
白を埋めるために拡大縮小を行ったり、空白を均等にす
るような微調整を行うことは見た目をよくするために好
適である。

【００３８】本発明は上記実施形態に限られるものでは
ない。見た目をよくする目的で、代表画像と代表画像の
間の空白を入れることも、代表画像を囲む矩形を余白を
含めるものとすることで容易に実現可能である。上記実
施形態では代表画像の重なりを全く有さない場合につい
て述べたが、一部重なることを許すように変形すること
も可能である。図１４に示すように三つの代表画像Ｐ２
０１〜Ｐ２０３が既にレイアウトされている状態（占有
領域Ａ５）で代表画像Ｐ２０４をレイアウトしようとし
ている状況を考える。代表画像Ｐ２０４は図に示した位
置に配置すると平面領域からはみ出すが、左に少しずら
して代表画像Ｐ２０３を重ねると詰め込むことができ
る。このように一部重なりを許すことによって空間占有
率を高めるためには、許容マージン幅ｍを設定してお
き、占有領域Ａ５からマージンを除外した領域Ａ６（太
線で示した領域）を新たに占有領域と考えることによっ
て上述した方法がそのまま適用できる。また、重なった
領域については画像間の輝度の平均値をとる半透明合成
処理を施した上で表示することも、画像情報を失わない
ようにすることができるので好適である。また、マージ
ン幅を設定するだけでなく、例えば代表画像の輝度変化
の少ない領域、例えば、空や地面の領域を重要な被写体
が存在しない領域と考えて占有領域から除外するように
することも可能である。

【００３９】また、レイアウト結果はコンピュータ画面
のウィンドウ領域に表示することもできるし、レイアウ
ト記述可能なファイル形式、例えば、ポストスクリプト
ファイルやＨＴＭＬ（Hyper Text Markup Language) と
して出力することもできる。また、自動レイアウトされ
た結果を利用者が修正できるようなユーザインタフェー
スを設けることも好適である。また、代表画像をコンピ
ュータ画面上に合成表示し、その代表画像をマウスなど
で指示することによって、元の映像を代表画像の位置か
ら再生するようにすることによって、映像のプラウザと
して利用できる。代表画像としてテロップ（字幕）を抽
出し、字幕の内容を認識した結果得られた文字列を代表
画像と関連付けて保存しておき、代表画像がマウスでク
リックされたときにテロップ文字列をキーワードとして
データベースを検索し、検索結果を関連情報として表示
するようにしてもよい。

【００４０】さらに、代表画像抽出方法も様々なものを
考えることができる。従来技術１に示されているよう
に、カット直後の画像を代表画像とすることもできる。
カット後にテロップが出現した場合にはその画像を代表
画像とすることが、ニュースなど、テロップが重要な意
味をもつ映像については好適である。また、パン（カメ
ラを水平に回転させる操作）やチルト（カメラを垂直に
回転させる操作）でカメラを動かした区間を特定して、
その区間について、カメラパラメータ（カメラがどの程
度動いたかを表すベクトル値）を求め、カメラパラメー
タにしたがって画像を合成していくことによってパノラ
マ画像を合成することができる。また、パノラマ画像中
にテロップが表示されている場合には、パノラマ画像に
テロップを上書きしたものを代表画像とすることもでき
る。また、テロップ部分のみを画像から切り出して拡大
したものを代表画像とすることもできる。

【００４１】なお、図１、図５、図７、図９、図１２の
手順を実行するプログラムはフロッピィディスク、ＣＤ
−ＲＯＭ、ＲＯＭテープなどの記録媒体に記憶されて提
供され、コンピュータはそのプログラムにより制御され
て複数の代表画像を合成し、ディスプレイ画面を表示す
る。

【００４２】

【発明の効果】以上説明したように、本発明は下記のよ
うな効果がある。

【００４３】請求項１の発明によれば、無駄な余白を少
なくするとともに、時間的前後関係を保存したレイアウ
トを行うことができるようになり、効率的な映像一覧を
実現できるようになる。

【００４４】請求項２の発明によれば、前記複数の代表
画像を時間順にレイアウトしてゆくことが可能で、レイ
アウトを全て列挙する必要がなくなり、計算コストが削
減できる効果がある。

【００４５】請求項３の発明によれば、映像の内容の切
り替わりを複数のレベルで検出し、切り替わり後の代表
画像を切り替わりのレベルに応じてさらに別のレイアウ
ト制約を課すことにより、意味の切れ目を明確に表現す
ることができるようになる。

【００４６】請求項４の発明によれば、代表画像に微少
な修正を加えることによって空間占有率を大きく高める
ことができる。

【００４７】請求項５の発明によれば、代表画像とし
て、場面の切り替わりであるカットを基にして抽出され
た画像と、カメラの動きを相殺して連続的な画像をずら
しながら重ね合わせたパノラマ画像を使うことで、人が
代表画像を手動で選ばなくてもよく、シーンの中で表現
されている被写体を的確に表現した映像一覧表示が行え
るようになる。

【００４８】請求項６の発明によれば、無駄な余白を少
なくするとともに、時間的前後関係を保存したレイアウ
トを行うことができるようになり、効率的な映像一覧が
実現できるようになる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の処理の流れ図であ
る。

【図２】第１と第２の実施形態を説明するための代表画
像と空間領域を示す図である。

【図３】レイアウト制約の一例を説明するための図であ
る。

【図４】代表画像Ｐ１，Ｐ２，Ｐ３の可能なレイアウト
を示す図である。

【図５】本発明の第２の実施形態の処理の流れ図であ
る。

【図６】第２の実施形態で得られる代表画像Ｐ１，Ｐ
２，Ｐ３のレイアウトを示す図である。

【図７】第２の実施形態の単位レイアウト手順（ステッ
プ１６）の処理の流れ図である。

【図８】第２の実施形態の単位レイアウト手順の説明図
である。

【図９】本発明の第３の実施形態の処理の流れ図であ
る。

【図１０】第３の実施形態を説明するための代表画像列
を示す図である。

【図１１】第３の実施形態によって得られるレイアウト
の例を示す図である。

【図１２】本発明の第４の実施形態の処理の流れ図であ
る。

【図１３】縮小処理を伴ったレイアウトを示す図であ
る。

【図１４】重なりを許すレイアウトの説明図である。

【図１５】従来技術１を説明するための模式図である。

【図１６】従来技術１の問題点を説明するための図であ
る。

【図１７】従来技術１の問題点を説明するための図であ
る。

【図１８】従来技術２を説明するための模式図である。

【符号の説明】

１１〜１９，２１〜３７ステップＰ１，Ｐ２，Ｐ３，Ｐｉ，Ｐｉ＋１代表画像Ｐ１１〜Ｐ２１、Ｐ１００，Ｐ１０１，Ｐ１０２代
表画像Ｐ２０１〜Ｐ２０４代表画像Ｌ１１〜Ｌ１３レイアウトＡ１〜Ａ６領域

Claims

【特許請求の範囲】

【請求項１】映像から抽出あるいは合成された非定形
の複数の代表画像を、限られた平面領域に重なりを持た
ないようにレイアウトする映像一覧表示方法において、該非定形代表画像が時間的前後関係から生じるレイアウ
ト制約を満たすという条件の下で空間占有率を高めるレ
ウアウトを採用することを特徴とする映像一覧表示方
法。
【請求項２】前記非定形代表画像を時間順に一つずつ
取り出し平面領域にレイアウトする単位レイアウト手順
を繰り返し実行し、該単位レイアウト手順が、まだ占有
されていない空間に代表画像が収まり、かつ無駄になる
領域の面積が最小となるレイアウトを採用する請求項１
記載の映像一覧表示方法。
【請求項３】映像の内容の切り替わりを複数のレベル
で検出し、切り替わり後の代表画像を切り替わりのレベ
ルに応じて予め設定された第２のレイアウト制約を満た
すようにレイアウトする請求項１または２記載の映像一
覧表示方法。
【請求項４】代表画像を空間的にレイアウトする際
に、空間占有率を高めるように代表画像の形状を修正す
る請求項１から３のいずれか１項の映像一覧表示方法。
【請求項５】代表画像として、映像の輝度、色情報の
急激な変化点である場面の切り替わりであるカットを基
にして抽出された画像と、カメラの動きを推定し、推定
したカメラの動きに基づいて映像を構成する画像を移動
・変形しながら合成したパノラマ画像のいずれか一方あ
るいは両方を含む請求項１から４のいずれか１項記載の
映像一覧表示方法。
【請求項６】コンピュータによって映像データから抽
出あるいは合成された非定形の複数の代表画像を、限ら
れた平面領域に重なりを持たないようにレイアウトし表
示する映像一覧表示プログラムであって、該非定形代表
画像が時間的前後関係から生じるレイアウト制約を満た
すという条件の下で空間占有率を高めるレイアウトを採
用する映像一覧表示プログラムを記録した記録媒体。