JP3096280B2 - 電子映像文書作成利用方法及びプログラム格納媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一連の映像を解析
し、特定のイベントを検出し、イベントに基づいて抽出
した代表画像等を自動的にレイアウトすることで一覧性
を持つ本型の電子映像文書に変換する方法及びその方法
を実現するプログラムを格納する媒体に関する。

【０００２】

【従来の技術】図１は従来技術のコンピュータ上の映像
再生モニタの例、図２は従来技術のコンピュータ上の映
像編集ユーザインタフェースの例、図３は映像の代表画
像をスクロール付きのウインドウに展開した従来技術の
例を示す。図中、２０はモニタ画面、２１は時間軸上再
生コントローラ、２２は等時間間隔サンプル画像、２３
は時間軸、２４はサンプル画像、２５はスクロールバー
を表す。

【０００３】一連の映像を何らかの形で対話的に閲覧す
るインタフェースでは、従来、まずビデオプレーヤに見
られるように、映像を時間軸上で再生制御するのが一般
的である。即ち、再生開始、停止、早送りなど、時間軸
上の再生ポインタを制御する。これがコンピュータ上の
ディジタル映像の場合には、任意の時間軸上の１点を直
接指定して、そこから再生することができるようになっ
ている。例えば、図１に示すようなビデオモニタにおい
て、時間軸上再生コントローラ２１の時間軸上の１点を
ポインティングデバイスにより指示すると、モニタ画面
２０にその時点からの映像が表示される。

【０００４】また、映像の一覧性を与えるために、コン
ピュータ上でディジタル映像を扱う場合には、いわゆる
ノンリニア編集機と呼ばれるデスクトップビデオ編集シ
ステムで見られるように、横軸に時間軸をとり、その時
間軸にそって映像を時間的に等間隔にサンプルした縮小
画像を並べ、これによって編集すべき区間を決定した
り、複数の映像をつなぎ合わせたりするインタフェース
を持つものがある。図２にその映像編集ユーザインタフ
ェースの例を示す。ユーザは、図２に示す縮小表示され
た等時間間隔サンプル画像２２を操作することによっ
て、映像を自由に編集することができる。

【０００５】また、図３に示す例のように、映像中のカ
ット点等のイベントをとらえて、映像をサンプルして２
次元的に並べ、コンピュータ画面上のウィンドウにサン
プル画像２４として並べる方法のものもある。スクロー
ルバー２５の操作によって、サンプル画像２４の表示を
スクロールさせることができる。特開平9-198332「デー
タ管理・出力方法を備える電子ファイリングシステム」
には、システムで管理される画像データ等をアルバム形
式又は本形式で見やすく表示し、任意に表示方法を変更
する等のレイアウト編集が可能な電子ファイリングシス
テムが開示されている。

【０００６】以上のような従来技術においては、映像を
全体的にあるいは時には部分的にと、利用者の目的や見
方に応じた多様な見方、利用の仕方を提供することは難
しかった。具体的には図１の例では、再生制御はコント
ロールバーの制御のみであるため比較的容易ではあるも
のの、ある一時点だけの画像しか見ることができず、映
像全体を把握したり、特定の部分にアクセスすることは
難しいという問題があった。

【０００７】また、図２の例では、時間的幅を持って複
数のサンプル画像を見ることができる点で、図１に示す
ものよりも便利であるが、時間軸１次元上での編集を意
図したものであるために、時間的に幅広く見ようとする
と時間軸の単位を粗くとるように変更したり、その逆に
細かく見ようとすると時間軸の単位を細かくなるよう変
更する必要があり、操作が煩雑になることに加え、特定
の映像の時間軸上での位置感覚をつかむのが難しいとい
う問題があった。

【０００８】また、図３の例では、映像中の何らかの節
目ごとに映像がサンプルされるため、映像の概要を把握
するには非常に適しているが、少し長い映像の場合、サ
ンプル画像２４の数が多くなり、より全体を見ようとす
るとスクロールバー２５を上下に操作する必要があり、
また全体の中での特定の画像の場所感覚を得るのが難し
いという問題があった。

【０００９】また、画像データ等をアルバム形式で管理
する電子ファイリングシステムにおいて、映像データを
管理させる場合、映像の先頭画像をアルバムに表示する
ことはできるが、内容を詳しく見ようとすると映像を再
生モニター等に表示させる以外に方法はなかった。もち
ろん、人手で代表画像を抜き出してきてアルバムに貼り
込むことは可能であるが、膨大な手間がかかるという問
題がある。このように従来、電子映像文書を本型のイン
タフェースで提供できる方法は、これまでなかった。

【００１０】Taniguchi 等による"PanoramaExcerps: Ex
tracting and Packing Panoramas for Video Browsin
g", Proceedings of the fifth ACM International Mul
timedia Conference, Addison-Wesley, pp.427-436, 19
97, には、一枚の画面内に代表画像を配列表示し、所望
の代表画像を指示すると、対応する映像が再生されるユ
ーザインタフェースが示されている。また、横幅が規定
された画面に代表画像を、時間順を保って、かつ、無駄
な領域を少なくして配列する方法を示している。しか
し、このユーザインタフェース画面は、その横サイズは
規定されているが、縦サイズは規定されていない。即
ち、横と縦のサイズが規定されたページの概念は導入さ
れておらず、当然本形のインタフェースを形成していな
い。

【００１１】

【発明が解決しようとする課題】この発明の目的は、上
記従来技術の欠点を解決し、映像を本型の電子映像文書
に自動的、あるいは半自動的に変換し、映像情報を細か
く把握することが可能で、かつ、全体的な映像の流れを
把握することもできるような、本型のインタフェースを
有する電子映像文書の作成方法とその使用方法、及びそ
の方法を実施するプログラムを記録した記録媒体を提供
することである。

【００１２】

【課題を解決するための手段】この発明によれば、上記
課題を解決するために、映像を解析し各種イベントを検
出し、利用者が指定した方法でイベント毎に一連の代表
画像を作成し、代表画像を時間順にページにレイアウト
して、本のように綴じた形の電子映像文書を自動的に作
成する。

【００１３】具体的には、映像を解析することによりシ
ーンの変わり目などの各種イベントを検出し、その結果
と解析過程で算出される特徴情報などを映像インデック
ス情報として管理し、利用者の指定に従って該映像イン
デックス情報を参照しながら、一連の代表画像を作成す
る手順と、一連の代表画像を時間順に所定のルールでペ
ージにレイアウトしていき、予め定める改ページの条件
を満たす場合には新規ページを起こして代表画像をレイ
アウトすることで、本型の体裁を持つ電子映像文書を自
動的に作成する。

【００１４】更に、部分映像へのリンク情報、具体的に
は映像の先頭からの時刻等、をページ管理テーブルに格
納しておくことで、閲覧時に代表画像を利用者がマウス
等で指示した際に関連する部分映像を再生可能になる。
更に、その電子映像文書を利用する機能インタフェース
として、ページ制御や画像表示を持つ付箋機能、ページ
上の各代表画像を指定すると関連する元の映像を再生す
る機能などを持つことにより、各ページに表現されたイ
ベント単位の画像列で映像情報を細かく把握でき、か
つ、全体的な映像の流れや映像内容についても、ページ
をぱらぱらめくるなどの操作によって簡単に把握でき
る。このような本型インタフェースの利点を提供し、特
定の部分への多彩なアクセス方法を提供する。

【００１５】本発明の作用により、(1) 映像から本型の
インタフェースを持つ電子映像文書を自動的に作成で
き、(2) 映像がその代表画像列として２次元的にレイア
ウトされることで一覧性が実現される、(3) 代表画像列
が更にページ単位で大きく分割されることで、利用者の
ページ単位での一覧へのアクセス、速見、情報記憶を効
率的、効果的に行うことが可能となる、(4) 一覧を介し
て映像の部分に素早くアクセスできる、(5) 映像一覧ア
クセスのためのインタフェースの基本を本型にすること
で、コンピュータに不慣れな人にも使いやすいインタフ
ェースを提供できる、(6) 文書に有効な情報アクセスの
ための工夫(例えば、付箋を付与する、目次、索引等)を
映像にも持ち込むことができる。

【００１６】

【発明の実施の形態】《実施例１》図４は、本発明によ
る電子映像文書（電子映像本）の作成手順を示したもの
である。まず、全体の手順を簡単に説明する。ステップ
401 は所望の映像ファイル120の映像を解析し、前述し
た各種イベントを検出する。ステップ402 は検出したイ
ベントをインデックスとして映像中の時刻及び付加情報
との対応を図５Ａに示すような映像インデックス管理テ
ーブル121 として作成する。ステップ403 は、どの様な
種類のイベントの画像を代表画像とするか、各ページの
レイアウト、などの条件を入力する。ステップ404 は、
図５Ａの映像インデックス管理テーブル121 を参照して
入力された条件に適合する画像を代表画像として抽出す
る。ステップ405 は新規ページを生成し、ステップ406
は抽出した代表画像を時間順にそのページに配列し、そ
の配列位置をページ管理テーブル122 に記録する。ステ
ップ407 はそのページが一杯になったか、又は表示代表
画像の配列が画像内容上の区切りとなったかを判定し、
いずれか一方がYES であればステップ405 に戻り、新規
ページを生成し、ステップ406, 407 を繰り返す。ステ
ップ407 で改ページの条件を満たさない場合、ステップ
408 ですべての抽出代表画像のレイアウトが終了したか
判定し、終了してなければステップ406 に戻り、終了し
ていればステップ409 で表紙、目次、索引の作成を行
い、ページ管理テーブル122 の編集、保存を行う。以
下、各ステップについて詳細に説明する。 [イベント検出401］ステップ401は、入力として与えら
れる映像ファイル120を解析して、各種イベントを検出
する。ここで、画像に関するイベントとして、カット、
ディゾルブ、フェードイン、ワイプなどの場面切り換わ
りに関するもの、パン／チルト等のカメラ操作に関する
もの、テロップ開始／終了、ブラックアウト区間の開始
／終了、などを検出することができる。例えばテレビ番
組におけるコマーシャル（ＣＭ）の開始／終了をイベン
トとして検出できる。音にまつわるイベントとしては、
音楽が含まれる区間の開始／終了、人の声の含まれる区
間の開始／終了などがある。画像、音以外の付属情報に
まつわるイベントとしては、タイムコードの大きな変化
点、クローズドキャプションの開始／終了などがある。
より映像内容に踏み込んだイベントの例として、ニュー
ス映像においてアナウンサーが登場する区間の開始／終
了を考えることもできる。以下、各種イベントの検出方
法について述べる。

【００１７】カットはシーンを一瞬で切り換える編集技
法であり、ディゾルブは二つのシーンを徐々に融合させ
ながら切り換える編集技法であり、フエードインは真っ
黒の画像から次のシーンを徐々に現していく技法、ワイ
プは一つのシーンを拭い去るようにして次のシーンを現
していく技法である。このようなシーン変わり目に関す
るイベントを映像から検出する方法としては既存の技術
（例えば、特願平5-317663「映像カット点検出方法及び
装置」）を用いることが可能である。

【００１８】パン、チルトはカメラを左右、上下に振り
ながら撮影するカメラ操作であり、ズームは画角を変化
させるカメラ操作である。これらのカメラ操作に関する
イベントを映像から検出する方法としては既存の技術
(例えば、特願平4-244674「映像撮影状態検出方法」）
を用いることができる。この過程でカメラがどれだけ動
いたかを表すカメラパラメータが算出されるので、映像
インデックスとして合わせて管理しておく。

【００１９】テロップは、編集段階で画面に重畳された
字幕である。テロップが画像の中に存在するか否か、存
在するとすればどの位置に存在するかを検出し、テロッ
プの開始／終了時刻、表示位置などを映像インデックス
情報として管理する。更に、文字認識技術を用いて、テ
ロップをテキストデータに変換して、それを映像インデ
ックス情報として管理することもできる。

【００２０】映像が真っ黒の(又は、ある色で一面が塗
りつぶされた)状態になることをブラックアウトと呼
ぶ。映像がブラックアウトしているか否かを判定するに
は、画像全体で輝度値の分散を計算し、その値があるし
きい値以下であるかを調べることによって可能である。
例えばテレビ放送映像におけるコマーシャル（ＣＭ）区
間の開始／終了をイベント検出する方法として、日本国
特許出願公開9-219835「映像要約方法及び装置」に開示
されている従来技術を用いることができる。この方法
は、例えば(1) 日本のテレビ放送におけるＣＭの長さが
１５秒あるいは３０秒に固定されている、(2) ＣＭには
カットが多く含まれる、といった知識を利用してＣＭ区
間を特定するものである。

【００２１】音に関するイベントとして、音楽あるいは
人の声が入っている映像区間の開始／終了を利用するこ
とができる。音声認識の技術を用いて、人の声の含まれ
る区間から、テキストデータを抽出することも可能であ
る。その他に、映像信号の中に埋め込まれているタイム
コード信号を復号し、そのタイムコード信号の不連続性
を検出することで撮影条件の変化を一つのイベントとし
て検出することができる。また、クローズドキャプショ
ン(映像信号に埋め込まれた字幕情報)を市販のデコーダ
により復号し、そこから得られるテキストデータの開始
／終了をイベントとして検出することができる。

【００２２】アナウンサの登場する区間の開始／終了を
検出する方法としては、Deborah Swanberg, Chiao-Fe S
hu, Ranesh Jain: Knowledge Guide Parsing in Video
Databases, SPIE Vol.1908(1993), pp.13-24、に開示さ
れた方法を用いることができる。 [映像インデックス管理テーブル121]ステップ402 は、
検出された各種イベント情報と解析過程で算出される特
徴情報を映像インデックス管理テーブル121Aに管理す
る。

【００２３】図５に、映像インデックス情報の管理テー
ブル121Aの一例を示す。この管理テーブル121Aでは、イ
ベントのタイプ501 、イベントの開始時刻502 、イベン
トの終了時刻503 、その他の付加的な情報504 が管理さ
れている。一連の映像から順次抽出された前述のような
様々なイベントの種類がイベントタイプの欄501 に書き
込まれると共に、各イベントの開始時点と終了時点が欄
502 及び503 に書き込まれる。イベントの開始点502 及
び終了点503 としては、入力として与えられた映像ファ
イル120 の先頭からの時刻がミリ秒単位で記録されてい
る。欄504 には付加的な情報として、テロップイベント
に対しては、テロップとして表示された文字列の情報と
テロップの画面内での位置が、人の声(音声)イベントに
対しては音声認識の結果得られるテキストデータの情報
が記録される。

【００２４】図５Ｂに示す管理ファイル121Bには映像イ
ンデックス管理テーブル121Aに関連して、解析の対象と
なった映像ファイル名505 、映像インデックス管理テー
ブル121Aヘのポインタ情報（アドレス）506 、次の図５
Ｃに示すカメラパラメータテーブル121Cヘのポインタ情
報（アドレス）507 、実映像ファイル120が記録管理さ
れている。

【００２５】また、図５Ｃに示すカメラパラメータテー
ブル121Cには、カメラが水平方向に何画素移動したかを
示すパンパラメータ510 、垂直方向に何画素移動したか
を示すチルトパラメータ511 、何画素拡大又は縮小した
かを表すズームパラメータ512 が時刻509 と対応して管
理されている。これらのパラメータ量はステップ402で
映像解析により得られたものである。

【００２６】映像インデックス管理テーブル121Aには、
イベント情報以外に、解析の過程で選ばれる画像の特徴
情報も格納しておくことができる。画像に関する特徴情
報としては、シーン切り替えイベントを検出する過程で
選ばれる画像差分や、カメラ操作イベントを検出する過
程で選ばれるカメラパラメータ、色の出現頻度に関する
情報、エッジ情報など様々なものが考えられる。音に関
する特徴情報としては、周波数成分の情報などが考えら
れる。

【００２７】以上、映像インデックス情報は、主記憶装
置のデータ構造として、あるいはファイルとして、ある
いはリレーショナルデータベースのテーブルとして管理
することができる。また、映像解析の結果には誤りが含
まれることがあるため、誤りを修正できるようなユーザ
インタフェースを与えることが好適である。その際に、
映像解析では取得できないイベントや、キーワード、映
像中に登場する人物の名前、製品の名前、撮影場所、撮
影日時等の情報を人手で与えることもできる。また、映
像インデックス情報をファイルに格納する形式として、
アプリケーション間のデータ交換を円滑にするために、
SGML, XML, HTML などの標準フォーマットを採用するこ
とも可能である。

【００２８】ステップ403 は、利用者が電子映像文書を
作成する際の条件を設定する。図６は、条件設定画面の
一例である。ここでは利用者が、代表画像の作成方法60
1 、レイアウト方法602 、改行方法603 、改ページ方法
604 、強調表示の対象となる代表画像を選択する方法60
5 、映像内容の変化度を算出する方法606 、目次生成条
件607 、表紙生成条件608 、索引生成条件609 などを画
面上で指定する。代表画像作成方法601 では、シーン切
り換えをカット、ディゾルブ、ワイプから所望のもの
（複数可）を選択し、カメラ操作をパン、チルト、ズー
ム、パノラマから所望のものを選択し、更にテロップ、
音楽、音声についての選択、非選択を指定する。レイア
ウト方法602 では、レイアウトを固定幅の行、列とする
か、又はマージンを指定して詰め込むかを選択する。改
行方法603 については、代表画像内容の変化度（後述）
が所定の閾値以上で改行するかを設定する。改ページ方
法604 も同様に画像内容の変化度に従って改ページする
かを設定する。強調表示605 は特定のイベント（例えば
テロップ、アナウンサシーン）に対し、拡大、太枠、
色、などを選択指定する。

【００２９】目次生成条件607 は内容変化度が所定の閾
値以上の代表画像を目次に入れるか及び／又はテロップ
画像を目次に挿入するか、を指定する。表紙生成条件60
8 は、テロップが中央に表示された代表画像を所望数抽
出して張り付けるか、先頭の代表画像を表紙に張り付け
るかを指定する。索引生成条件609 は、テロップの表示
された代表画像を索引に追加するか否かを指定する。内
容変化度定義606 は後で説明する画像の内容変化度とし
てブラックアウト、テロップ、アナウンサシーン、無
音、などの変化に対する値の割り当て（重み付け）を指
定する。これらの設定内容の詳細については後述する。 [代表画像の作成404] ステップ404 は、映像インデックス管理テーブル121Aを
参照し、利用者の設定条件（図６の601 を参照）に従っ
て、一連の代表画像を作成する。各代表画像は映像中か
ら選択された１フレームの静止画像又は複数のフレーム
から合成された１つの静止画像である。この代表画像
は、それ自体が提示を意図した内容であってもよいし、
その代表画像が短い一連のフレームからなる部分映像
（例えば動画像）にリンクされ、例えばボタン化された
静止画像であってもよい。後者の場合、その代表画像ボ
タンをクリックしてリンク先の動画像を再生することが
できる。この動画像は音情報（例えば音声、音楽など）
を伴ってもよい。

【００３０】以下、利用者が、図６の代表画像作成方法
601 の画面で、カット／ディゾルブ／フェードイン等の
シーン切り換えイベントに基づいて代表画像を作成する
ように指定した場合について説明する。図５Ａの映像イ
ンデックス管理テーブル121Aのイベントタイプ501 を上
から順に調べ、カット／ディゾルブ／フェードイン等の
シーン切り換えイベントが記録された行が見つかった
ら、そのイベントの開始時刻502 を取得し、イベント開
始直後の画像あるいは一定時間後の画像を映像ファイル
120 から取得して代表画像とする。同様に、テロップイ
ベントを手がかりに、テロップの表示された画像を代表
画像とすることもできる。

【００３１】イベントの先頭画像が代表画像として適当
でない場合もある。例えば、ＣＭ区間の開始／終了のイ
ベントに基づいて代表画像を作成する場合、ＣＭ区間の
先頭画像を代表画像とするよりも、ＣＭ区間の最後の画
像を代表画像とするのが望ましい。なぜなら、ＣＭの最
後には、企業名や製品名がテロップとして表示される場
合が多いからである。また、シーン切り替えイベントに
基づいて代表画像を作成する場合にも、イベント直後で
なく、イベントから一定時間後の画像を代表画像とする
方が適切な場合がある。例えば、シーンが切り替わった
直後には、背景しか表示されておらず、シーンの途中か
らテロップや重要な被写体が現れる場合があるからであ
る。

【００３２】単に、映像ファイルから画像を取得して代
表画像を作成するだけではなく、新たに代表画像を合成
することも可能である。例えば、パン／チルト／ズーム
などのカメラ操作イベントの区間において、その区間に
含まれる画像を合成してパノラマ画像を作成し代表画像
とすることができる（例えば後述する図７におけるパノ
ラマ代表画像６１）。パノラマ画像を作成する場合、図
５Ｃに示すカメラパラメータテーブルを参照し、カメラ
の移動量を求め、その移動量だけ画像をずらしながら重
ねあわせることによってパノラマ画像を作成することが
できる(例えば、日本国特許出願公開7-284049「映像ア
クセス装置」)。シーン切り替えイベントの直後の画像
はシーンの一部しか表現してない場合があり、代表画像
として必ずしも適切でない場合があるが、パノラマ画像
を代表画像とすることでカメラ操作の行われた被写空間
をカバーする代表画像を作成できる。また、シーン切り
替えイベントとカメラ操作イベントを組み合わせて代表
画像を作成することで、すべてのシーンを一連の代表画
像で効率的に表現できる。具体的には、カメラ操作区間
を含まないシーンについては、シーン切り替えイベント
直後、あるいは一定時間後の画像を代表画像とし、シー
ンの中にカメラ操作区間を含む場合にはパノラマ画像を
生成し、それを代表画像とする。

【００３３】また、音を伴う動画像にリンクした代表画
像ボタンについては、音が特定の種類の音、例えば音
楽、音声、拍手、衝突等に対応する場合、対応する代表
画像の近傍に、音の種類がわかるアイコン等を配置する
（後述する図７の音声代表音画像６２や音楽代表音画像
６３）。勿論、特定な代表画像と関連付けしないで、そ
のページの音声情報や音楽を再生するためのボタン化ア
イコン６２’、６３’を設けてもよい。

【００３４】ステップ405 は新規ページを作成する。具
体的には、ページ管理テーブルに１ページ分のテーブル
を新規作成することになるが、ページ管理テーブルにつ
いては後述するので、ここでは詳しく述べない。ステッ
プ406 は、代表画像を時間順にページにレイアウトす
る。レイアウトの方法は、ステップ403 において利用者
が指定した方法に従う。レイアウトの方法としては、図
８Ａに示すように、ページ左上から欧文の横書きの順に
配置するものや、図８Ｂに示すように縦方向に配置して
いくものなど、用途、利用者の好みに応じて選択可能で
ある。また、図７に示すように、代表画像の大きさがま
ちまちである場合には、なるべく無駄な余白が少なくな
るようにレイアウトする必要があるが、詳しくは実施形
態2で説明する。代表画像は映像から抽出されたもので
あることから、その時間順を追うことができるようにレ
イアウトすることが好ましい。

【００３５】ステップ407 は、1枚の代表画像をレイア
ウトする度に、改ページの条件を満たしているか否かを
調べ、改ページする必要があればステップ405 に戻り新
規ページを作成する。利用者が図６の設定604 で、改ペ
ージの条件を特に指定しなかった場合には、単に代表画
像を配置するのに十分な空白があるかどうかを調べて、
もし無ければ改ページを行う。改ページ条件の別の実施
形態については後述する。

【００３６】改ページの必要がなければ、ステップ408
はすべての代表画像をレイアウトし終えたかどうか調べ
る。ステップ409 は、利用者が自動作成された電子映像
文書を修正する。例えば、イベント検出の誤りによって
作成された余計な代表画像を削除したり、改ページを挿
入したり、付箋を挿入したりする。このような修正は、
ページ管理テーブル122 に記録される。

【００３７】また、映像の大きな単位(文章における章
や節にあたるもの)毎に、利用者がその単位を代表する
代表画像を選択することによって、目次ページを手動で
作成できるようにすることも、電子映像文書の使い勝手
を向上させ、映像の閲覧を更に効率化する目的に好適で
ある。同じように、映像全体を代表する画像、例えば、
映画のタイトル画面や番組ロゴを利用者に選択させ、表
表紙を作成できるようにすることもできる。この工夫に
よって、表表紙を見るだけで、電子映像文書に入ってい
る内容を一目で把握できるようになる。

【００３８】また、映像の中で重要な項目やキーワード
が現れる代表画像を索引項目として利用者に選択させ、
索引項目を表すキーワードを入力させることによって、
索引ページを作成することもできる。索引項目を抽出し
終えた段階で、アルファベット順にキーワードを並べ替
え、代表画像をその順にある決められたルールでレイア
ウトすることによって、索引ページを構成する。 [ページ管理テーブル122] 以上説明した手順により作成された一連の代表画像と、
そのレイアウトに関する情報はページ管理テーブル122
に格納され管理される。ページ管理テーブル122 につい
て、図９を参照しながら詳述する。ページ管理テーブル
122 は、ページインデックステーブル122A、各ページに
関する情報を管理するページ内容テーブル122B、画像デ
ータテーブル122C、付箋テーブル122Dから構成される。

【００３９】ページインデックス管理テーブル122Aに
は、本のページ構成901 (表表紙、目次１頁、目次２
頁、...本文１頁、本文２頁、…、本文Np頁、索引１
頁、索引２頁、…、裏表紙)とページ内容テーブルヘの
ポインタ情報902 が格納される。ページ内容テーブル12
2Bには各ページに対応した内容テーブルがページの数だ
け設けられ、ページ内に表示される画像、文字列等を記
述する。ページ内容テーブル122Bの例として、表表紙に
対応するテーブル122B1 と本文１頁に対応するテーブル
122B2 を示す。各テーブルには、ページに表示すべきア
イテム903 、表示位置904 、表示する大きさ905 、アイ
テムがマウス等の制御による画面上のボタンで指示され
たときの動作906 、アイテムがボタン化された代表画像
（部分映像にリンクした代表画像）である場合には再生
開始/終了時刻907 、その他文字情報などの付加情報908
、強調表示方法909 が格納される。ページを新規に作
成する処理405 （図４）は、ページ内容テーブルを新規
に作成する。

【００４０】ページに配置可能なアイテムとしては、テ
キスト、画像、映像にリンクされた代表画像、音声デー
タ等、コンピュータで管理可能なあらゆるデータとする
ことができ、電子映像文書に載せられる全てのアイテム
はそれらを識別するアイテム番号がつけられ、アイテム
903 の欄に書き込まれる。アイテムが指示されるときの
動作906 としては、「部分映像の再生」以外にも、「リ
ンクされたページへのジャンプ」、「画像の拡大表
示」、「音声の再生」等を考えることができる。付加情
報908 としては、映像インデックステーブル121A（図５
Ａ）の付加情報504をコピーして格納するようにする。
ただし、ページ管理テーブルの編集・保存のステップ40
9 （図４）において、利用者にキーワード等を入力さ
せ、その情報を付加情報504 に格納することもできる。
強調表示方法909 としては、「強調表示なし」、「大
枠」、「拡大」等を格納する。

【００４１】画像データテーブル122Cは、電子映像文書
で表示すべき一連の代表画像がアイテム番号と対応して
格納される。付箋テーブル122Dは、付箋の表示位置911
、ページ912 、付箋に表示する文字列913 、表示する
画像914 が格納される。以上説明した図９のページ管理
テーブル122は、主記憶装置内のデータ構造としても、
ファイルとしても保存できる。ページ管理テーブル122
の内容をファイルとして保存し、通信回線等を用いて電
子映像文書を転送できる。[電子映像文書の閲覧]以上の
ようにして作成した本形の電子映像文書を開いた状態の
表示画面例を図１０に示す。電子映像文書は閲覧インタ
フェースの画面の中に表示される。

【００４２】厚みを持つ本イメージ７０のページ６０に
は、ページ管理テーブル122 （図９）のページ内容テー
ブル122Bにアイテム番号903 として記録されている一連
の代表画像６１が、決められた位置904 と大きさ905 に
従って画面に表示されている。また付箋テーブル122D
（図９）を参照して、利用者画像付箋７２、７３、及び
側端の付箋７８が表示されている。本イメージ７０の下
部には、機能を表すボタンが配置されている（利用者画
像付箋ボタン７４、ページ制御ボタン７５、再生ボタン
７７、編集モードボタン７６）。

【００４３】ページ制御ボタン７５によって、ページを
進める、戻す、速めくり/速もどしなどのページアクセ
ス操作を可能にする。このインタフェースには、閲覧モ
ードと編集モードがあり、この二つのモードは編集モー
ドボタン７６を押すことにより切り替えられる。閲覧モ
ードにおいては、次のような操作が可能である。

【００４４】本イメージ７０のページ６０上のボタン化
された代表画像６１’がポインタ７１により指定された
場合には、その代表画像６１’に対応する部分映像（区
間）を図９に示したページ管理テーブル122 内のテーブ
ル122Bに指定された映像開始時刻907 に従って取り出し
て、実際の映像を再生する。表示ページが目次等のリン
ク設定されたページの場合には、同様にページ管理テー
ブル122 内のページインデックステーブル122Aからリン
ク先情報902 を読み出して、テーブル122B内の目的のペ
ージをアクセスする。

【００４５】また、例えば図１０に示す利用者画像付箋
ボタン７４がクリックされた場合には、そのページの上
部に、利用者画像付箋７２として、指定された代表画像
の同寸又は縮小画像を貼り込む。利用者が、この画像付
箋の該当ページ以外を閲覧中に、ページからはみ出て見
える利用者画像付箋７３を指示した場合には、その付箋
の存在するページにジャンプする。もちろん、これらの
付箋は任意の時点で除去することができる。

【００４６】利用者がページ管理テーブル122 内のペー
ジ内容テーブル122Bに含まれる強調方法909 に対して所
望の条件を与え、条件に合うアイテム一覧を表示し、ア
イテムの一つを利用者が選んだ際に、選択項目対応の関
連ページにジャンプするとともに、関連する代表画像を
強調表示するようなことも可能である。編集モードにお
いては次のような操作が可能である。

【００４７】利用者が代表画像６１を順にマウス等のポ
インティングデバイスで指示すると、どの代表画像がど
の順序で指示されたかをテーブルに順に記録しておく。
再生ボタン７７が押下された時点で、編集テーブルを参
照し、指定順に代表画像に関連付けられた部分映像を再
生する。これは一種の映像編集であり、従来の映像編集
システムのようにフレーム単位の精密な編集は不可能で
あるが、プレゼンテーションシステム等で必要とされる
再生順序の入れ替えなどの簡易な編集手段を提供するも
のである。

【００４８】 次に、上述のように作成され、例えば図
１０に示すように表示された電子映像文書の閲覧処理手
順の詳細について図１１を参照して説明する。この閲覧
処理手順においては、図９に示すページ管理テーブル12
2と図１２に示す映像ファイル120が参照される。ステッ
プ1101では、前述の図１０に示す本型のインタフェース
をコンピュータディスプレイに描画する。この本型のイ
ンタフェースは、機能を示すボタン（ページ制御ボタン
７５など）と、一連の代表画像６１が並んだ本のイメー
ジ７０のページ６０の領域はページ送り／戻しなどの操
作によって再描画されることになるが、初期状態では表
紙ページが表示される。

【００４９】 具体的な描画手順は以下のようになる。
ページ管理テーブル122内のページインデックステーブ
ル122Aを参照し、描画しようとするページに対応するペ
ージ内容テーブル122Bを見つけだす。テーブルの記述内
容に従って、アイテム903を指定位置904に指定された大
きさ905で描画することを、すべてのアイテムについて
繰り返す。

【００５０】ステップ1102は、利用者からの入力を待つ
状態に入り、マウスやキーボードからの入力があると次
のステップに移る。ステップ1103はページ制御ボタン７
５（ページ送り、ページ戻し、早送り、早戻し、停止等
のボタン）のいずれが押されたかを調べる。ステップ11
05は、付箋（利用者画像付箋と側端の付箋）が押された
かを調べる。ページ制御ボタン又は付箋が押された場合
には、ステップ1104は指定されたページを描画する。
「ページ送り」のボタンが押された場合には、現在表示
されているページの次のページを表示する。「ページ戻
し」ボタンが押された場合には、前ページを描画する。
「早送り」ボタン又は「早戻し」ボタンが押された場合
には、次ページ又は前ページを表示するという手順を
「停止」ボタンが押されるまで繰り返す。付箋が押され
た場合には、付箋テーブル122D内のページ912 の列を参
照して対応ページを特定し、そのページを描画する。

【００５１】ステップ1106は、利用者画像付箋ボタン７
４が押されたかを調べる。押された場合には、ステップ
1107において、現在開いているページに利用者画像付箋
が存在しなければ、新規に利用者画像付箋を作成し、存
在していれば削除する。利用者画像付箋を作成する場合
には、付箋テーブル122Dに新しく行を追加し、現在開い
ているページの番号を行912 に、直前に選択された代表
画像を行914 に格納し、画面に付箋を描画する。既に付
箋が存在している場合には、付箋に関する情報を付箋テ
ーブル122Dから削除する。

【００５２】ステップ1108は、利用者によって代表画像
の１つが指示されたかを調べる。代表画像が指示された
場合、ステップ1109は、ページ管理テーブル122 内のそ
の代表画像のアイテム番号をアクセスしてページ内容テ
ーブル122Bの再生開始／終了時刻907 を参照し、対応す
る部分映像（再生開始／終了時刻で指定される時間区
間）を、映像ファイル120 から読み出してモニタ等に再
生表示する。

【００５３】ステップ1110は、編集モードボタンが押さ
れたか否かを調べる。押された場合には、通常の閲覧モ
ードから編集モードに移り（ステップ1111)、利用者か
らの入力を待つ（ステップ1112)。編集モードにおい
て、ページ制御ボタンや付箋が指示された場合（ステッ
プ1113，ステップ1115）には、上述した閲覧モードの場
合と同様に指定されたページを描画する（ステップ111
4)。

【００５４】ステップ1116は、再生ボタンが押されたか
を調べ、押された場合には、ステップ1119において、ス
テップ1117で記録された代表画像の指定順序に従って、
部分映像をモニタなどに再生表示する。ページ管理テー
ブル122 を参照しながら、再生開始／終了時刻907 の情
報を取得し、映像ファイル120 の当該時間区間を読み出
しながら順に再生表示する。

【００５５】ステップ1120は、編集モードボタンが押さ
れたか否かを調べ、押された場合には編集モードから通
常の閲覧モードに復帰する。以上の例では、電子映像文
書を図４の作成処理401 〜409 とは別に、図１１の閲覧
手順を実行する場合を示したが、映像解析から、レイア
ウト、閲覧までを、処理の能力が満たせばリアルタイム
で行ってもよい。電子映像文書作成のために入力として
与えられる映像は、ハードディスク等に格納されたファ
イルであっても、コンピュータ制御可能なビデオデッキ
で再生されるビデオテープであってもよい。また、テレ
ビ信号などを入力として与え、イベント検出ステップ40
1 と並行してハードディスクに映像ファイルを作成する
ような手順も可能である。イベントの種類は上述したも
のに限られるわけではなく、映像の種類や用途に応じて
様々なものを定義して用いることができる。電子映像文
書の作成処理のうち、イベント検出の手順（ステップ40
1 ）と電子映像文書の作成の手順（ステップ403〜409
）を別個のプログラムとして実現し、検出結果が格納
される映像インデックス管理テーブル121Aを介して連帯
するような構成とすることもできる。そのような構成を
とることで、処理に時間のかかるイベント検出は高性能
ワークステーション上で行い、その結果を廉価なパーソ
ナルコンピュータなどに転送し、電子映像文書を作成す
るといった分業が可能になる。

【００５６】なお、上記説明では、ステップ403 におい
て利用者に電子映像文書の作成条件を入力させるように
したが、このステップはイベント検出（ステップ401 ）
の前に行うようにして、ステップ401 では電子映像文書
作成に必要なイベントのみを検出するようにもできる。
また、利用者が電子映像文書作成条件を変更する必要が
ない場合には、このステップを省き、予め作成条件をプ
ログラムしておくように変形することも可能である。

【００５７】図１２はこの発明による上述の電子映像文
書の利用環境として、遠隔地にあるサーバに映像電子文
書が設けられており、利用者がネットワークを介して電
子映像文書を利用する環境の例を示す。この場合、利用
者は、例えばコンピュータ１１と、モニタ１２と、キー
ボード１３から構成された電子映像文書再生装置１０を
使用して、電子映像文書を閲覧する場合を示す。コンピ
ュータ１１はネットワークＮＷを介してサーバ１４に接
続され、サーバ１４内の記録媒体、例えばハードディス
ク１４Ｈには映像ファイル120 とページ管理テーブル12
2 が電子映像文書として格納されている。利用時にペー
ジ管理テーブル122 と映像ファイル120を一括して利用
者に転送してもよいが、映像ファイルの転送に時間がか
かる問題がある。従って、利用者は、まず、ページ管理
テーブル122 のみをサーバからダウンロードして閲覧を
開始し、必要に応じて映像ファイル120 から部分映像に
対応するデータをサーバから転送してもらう構成とする
ことが好ましい。そのためには、電子映像文書を構成す
るページ管理テーブル122 と映像ファイルを別々に管理
することが好ましい。

【００５８】図１２中に破線で示すように、映像ファイ
ル120 とページ管理テーブル122 が記録された電子映像
文書としての、例えばＣＤ又はＭＯなどの記録媒体を専
用読み取り装置１５に装着し、コンピュータ１１を使っ
て利用者が記録媒体１６内のページ管理テーブル及び映
像ファイルをアクセスして電子映像文書を閲覧してもよ
い。この場合、映像ファイルとしては、電子映像文書作
成時に使用した映像ファイル120 そのものでなく、電子
映像文書とリンクされた部分映像のみを記録した映像フ
ァイルを使用してもよい。 《実施形態２》代表画像をページ上に配列するレイアウ
トルールについて図１３のフロー図と図１４Ａ，１４
Ｂ，１４Ｃのレイアウト例を参照して詳述する。レイア
ウトしようとするｉ番目の代表画像をP_i（i=1,2,…,
N）、代表画像の数をＮ、ページの高さをＨ、幅をＷと
する。

【００５９】本実施形態で説明するレイアウトルール
は、図４のステップ404 で作成される代表画像の大きさ
が代表画像によってまちまちである場合に使用する。例
えば、パノラマ画像を代表画像とする場合、パノラマ画
像の大きさはカメラパラメータ(移動量)によって変化す
る。ステップ1301は、代表画像の番号を示す変数ｉを１
に初期化する。ステップ1302は、ページを新規に作成す
る。ステップ1303は代表画像P_iの大きさに関する情報、
具体的には画像の高さと幅、を取得する。ステップ1304
は、予め設定されたレイアウト制約を満たし、かつ代表
画像P_iが現ページに収まるレイアウトをすべて列挙する
（より詳細な手続きについては後述する）。

【００６０】ここではレイアウト制約として、「代表画
像P_i+1は代表画像P_iの右隣にあるか、代表画像P_iの左下
にある」（レイアウト制約R1）というものを用いる。直
感的な説明をすれば、横書きの文章と同じように、代表
画像P_iの右隣空白に代表画像P_i+1が収まるのであればそ
こにレイアウトし、代表画像P_iの右隣空白に収まらなく
なったら改行して左下にレイアウトするようにする。図
１４Ａ，１４Ｂ，１４Ｃに示すレイアウトはこの制約条
件を満たすが、図１４Ｄに示すレイアウトはこの制約を
満たさない。この制約条件を、より厳密に定義すると、
すべてのiについて、 x_max(P_i)＜x_min(P_i+1) かつ y_min(P_i+1)＞y_min(P_i), 又は y_min(P_i+1)＞y_max(P_i) を満たすことである。ただし、ここで、xy座標系は図１
４Ａに示した原点Ｏと向きを持つものとし、x_max(P)、x
_min(P)、y_max(P)、y_min(P)はそれぞれ領域Pのx座標の最
大値、最小値、y座標の最大値、最小値を表す。

【００６１】図１５に、四つの代表画像P₁，P₂，P₃，P₄
をページ６０にレイアウトする具体例について説明す
る。図１６Ａ，１６Ｂ，１６Ｃ，１６Ｄは代表画像P₁，
P₂，P₃がすでにレイアウトされている状態で、次に代表
画像P₄（つまり、i=4 の場合）を配置する位置について
それぞれ示している。ステップ1304（図１３）ではレイ
アウト制約R1を満たし、ページに収まるレイアウトをす
べて列挙する。図１６Ａのレイアウトは、代表画像P₁の
下に代表画像P₄を配置する。このレイアウトはレイアウ
ト制約R1を満たすが、ページに収まりきらないので却下
される。図１６Ｂ，１６Ｃのレイアウトはレイアウト制
約R1を満たし、かつページに収まるので列挙の対象とな
る。図１６Ｄはページに収まらないので却下される。

【００６２】ステップ1305は、ページに収まるレイアウ
トが存在したか否かを検査する。具体的には、ステップ
1304において、条件を満たすレイアウトが一つ以上見つ
かったか否かを調べる。ページに収まるレイアウトが存
在しない場合には、ステップ1306において、改ページの
処理を行う（1ページ分のレイアウト情報を出力する
等）。図１６Ａ〜１６Ｄの例では、二つのレイアウト
（図１６Ｂ、１６Ｃ）がページに収まるので、ステップ
1306に進む。

【００６３】ステップ1307は、ステップ1304において列
挙されたレイアウトについてそれぞれ無駄になる領域の
面積(無駄領域面積と呼ぶ)を算出し、それを最小とする
レイアウトを求め、ステップ1308で代表画像P_iをその位
置に配置する。図１６Ｂ、１６Ｃの場合には、斜線で示
した領域が無駄領域となる。レイアウト制約R1により、
斜線の領域にP₄を置くと、時間順を保って次の代表画像
P₅を配置できないからである。無駄領域面積を図１６Ｂ
と図１６Ｃのレイアウトで比較すると、図１６Ｃの方が
小さいので、図１６Ｃのレイアウトが採用され、図１６
Ｃに示した位置に代表画像P₄が配置される。

【００６４】図１７は、図１３におけるステップ1304，
1305，1307の詳細について説明するフロー図である。前
提条件として図１８に示すように代表画像P₁，P₂，…，
P_i-1によって既に占有されている領域（階段領域）の段
数がＫ、各階段の角の座標値が(x_k，y_k)，(k=1,…，K)
として保持されているものとし（ステップ1701）、この
状態で代表画像P_iを追加しようとしている。i=1のと
き、即ち何もレイアウトされていない初期状態では、K=
1,x₁=y₁=0である。図１３のステップ1304では代表画像P
_iの可能なレイアウトをすべて列挙するわけであるが、
上述したレイアウト制約の下で無駄になる領域を最小と
することを考慮すると、可能なレイアウトは階段の角に
代表画像P_iの左上角が重なるK通りの場合しかない。

【００６５】ステップ1702では、無駄領域の最小面積を
表す変数AREA_minを無限大(∞)に初期化するとともに、
無駄領域を最小とするｋを表す変数INDEX_minを１に初期
化する。ｋを１に初期化し(ステップ1703)、k=1,2,…,K
について次の処理を繰り返す。ステップ1704では代表画
像P_iの幅がｋ段目に収まるかどうかを調べる。ただし、
H(P)、W(P)はそれぞれ代表画像Ｐの高さ、幅を表す。も
し収まらなければループを抜けステップ1711に移る。ス
テップ1705は代表画像P_iの高さがｋ段目に収まるかどう
か調べる。もし収まらなければステップ1709に移る。ス
テップ1706は、無駄領域の面積AREAを図１８の斜線で示
した二つの領域A3，A4の面積の和として求める。斜線部
の面積は各階段の幅と高さから求めることができる。

【００６６】 ステップ1707ではAREA_minと今合計したA
REAを比較し、AREA<AREA_minが成立すればステップ1708
を実行してINDEX_min, AREA_min をそれぞれk, AREAに更新
する。ステップ1709は変数kを1だけ増やし、ステップ17
10はすべての段を調べ終えたか否かを検査し、残ってい
ればステップ1704に戻る。ステップ1711は、ページに収
まるレイアウトが存在したか否かを調べ、存在しない場
合には図１３のステップ1306に戻り、改ページ処理を行
う。AREA_minはステップ1702において∞に初期化されて
おり、ページに収まるレイアウトが見つからなかった
ら、その値は∞のままである。ステップ1712ではINDEX
_min段目の角に代表画像P_iを配置するレイアウトを採用
する。ステップ1713では代表画像P_iの追加により占有さ
れる領域が広がったことに伴って(x_k, y_k)の座標値を更
新する。図１８の例では階段領域の段数は３、(x_k, y_k)
は(x₁', y₁')，(x₂', y₂')，(x₃', y₃')へ更新される。

【００６７】なお、本実施形態において、無駄領域をど
のように見積もるかについては様々な変形が可能であ
る。平均的な代表画像の大きさが与えられていれば、そ
の基準となるサイズの矩形がレイアウトできない領域を
無駄領域とすることもできる。また、レイアウト制約と
して「代表画像P_i+1は代表画像P_iの右隣にあるか、代表
画像P_iの左下にある」というもの(欧文の横書きと同じ
並び)を用いたが、その他様々なものが考えられる。縦
書きの日本語文のように、右上から下に向けて画像をレ
イアウトしていくようにするには、「代表画像P_i+1は代
表画像P_iの下隣にあるか、左上にある」というレイアウ
ト制約を用いればよい。漫画のこまのように右上から左
に向けて画像をレイアウトするようにすることもでき
る。また、上記実施形態はすべて代表画像を埋め込む平
面領域を矩形としたが、矩形に限るわけではない。穴の
空いた矩形や任意の多角形領域とすることもできる。上
記の説明では、代表画像をページに可能な限り詰め込む
ようにしたが、実際には代表画像と代表画像の間には空
白（マージン）を設けることが、見た目によい一覧を作
成するために望ましい。また、表示上の工夫として、代
表画像の周辺部を切り取ったり、縮小したり、飾り枠を
付加してから、レイアウトを行うこともできる。 《実施形態３》図４のレイアウト処理におけるステップ
407 の改ページ判定の具体例を図１９のフロー図を用い
て詳細に説明する。この改ページ判定処理の例では、映
像内容が大きく切り換わる時点を捉えて、そこで改ペー
ジを行うことによって、普通の本が章や節の単位で改ペ
ージされるのと同じように、内容の切れ目を一目で分か
るようにし、電子映像文書の閲覧を容易にする効果があ
る。

【００６８】図６の内容変化度定義設定（インタフエー
ス）606 を用いて映像内容の変化度を定義する。ここで
は、利用者が例えばブラックアウト、テロップ、アナウ
ンサシーン、無音の項目毎に変化の度合いをO〜5の範囲
で設定する。テロップについては、テロップ表示位置に
よって変化度を設定できるようにしている。図６の改ペ
ージ条件の設定604 で、利用者が改ページ条件を設定す
る。内容の変化度がいくつ以上の場合に改ページを挿入
するかを設定できるようにしている。図６の改行条件の
設定603 では、内容の変化度がいくつ以上の場合に改行
を挿入するのかを設定できるようにしている。

【００６９】映像の作りに依存するが、映像の内容が大
きく切換わるところで、ブラックアウトが挿入された
り、中央にテロップが挿入されたりすることがある。こ
のような特徴的な構図を映像内容の切れ目を判断する手
がかりとして利用することができる。また、ニュース映
像についてはアナウンサが登場するシーンでニュース項
目が切換わる場合が多いので、アナウンサシーンを手が
かりに変化度を定義することができる。

【００７０】図１９に示すフロー図を用いて改ページの
判定手順について説明する。この手順は、図４のステッ
プ407 に対応するものであり、1枚の代表画像をページ
にレイアウトする度に実行される。ステップ1901，190
3，1905は代表画像が、アナウンサの登場するシーンで
あるか、ブラックアウトシーンであるか、中央にテロッ
プが表示されているか、を調べる。ブラックアウト、テ
ロップ、アナウンサシーンの判定は、図５Ａに示した映
像インデックス管理テーブル121Aを参照してもよいし、
この段階で改めて映像ファイル120 の元映像あるいは代
表画像を解析して判定するようにしてもよい。ステップ
1901，1903, 1905でYES の判定の場合、ステップ1902，
1904，1906で利用者が内容変化度定義設定606 を用いて
設定した変化度T1, T2, T3を変化度として代入する。ス
テップ1901, 1903, 1905でいずれもNOの判定の場合、ス
テップ1907で変化度を０とする。ステップ1908は、改ペ
ージ条件の設定604 に利用者が設定した閾値と変化度を
比較し、変化度が閾値以上であれば、即ち改ページ条件
を満たせば、ステップ1909で改ページを行い、図４のス
テップ405 に移り、変化度が閾値より小さければ改ペー
ジを行わず、図４のステップ408 に移る。

【００７１】図２０Ａに示した具体例を用いて実際に作
成される電子映像文書の体裁について説明する。図２０
Ａは、一連の代表画像６１₁〜６１₇とその下に対応する
変化度を示し、図２０Ｂ，２０Ｃ，２０Ｄには最終的な
ページイメージ６０₁，６０₂，６０₃ を示す。ここで
は、利用者が変化度を、中央に現れるテロップを１、ア
ナウンサーシーンを３、ブラックアウトを１、その他を
０に設定した場合を示している。変化度が３以上の場合
に改ページを挿入するようにした場合には、アナウンサ
シーン６１₂，６１₅の直前で改ページされ、番組タイト
ルが1ページ目６０₁ に、アナウンサシーン６１₂ 、ブ
ラックアウト６１₃ 、シーン６１₄（A₁，A ₂，A₃，A₄）
から構成されるニュース項目Ａが２ページ目６０₂ 、ア
ナウンサシーン６１₅ 、ブラックアウト６１₆ 、シーン
６１₇ （B₁）から構成されるニュース項目Ｂが３ページ
目６０₃ にレイアウトされる。このように、ニュース項
目毎に改ページを行うことにより、閲覧時に関心の無い
項目を飛ばして見たり、興味のある項目を素早く探すこ
とができるようになる。

【００７２】なお、本実施の形態ではアナウンサシー
ン、テロップ、ブラックアウトを手がかりに変化度を算
出するようにしたが、音に関して、無音区間、特定の音
楽（テーマ音楽）、特定の効果音を手がかりとして利用
することもできる。特定の記号（ロゴ）の出現を手がか
りとすることもできる。また、実施の形態では改ページ
を行うようにしたが、改行を挿入することも可能であ
る。また、更に大きな区切りとして、偶数又は奇数ペー
ジまで改ページを行うようにすることもできる。上記実
施形態例では、改ページを判定するための内容変化度に
対し一つの閾値を用いるようにしたが、複数の閾値を設
け、それぞれ改行、改ページを行うように変形すること
も可能である。

【００７３】テレビ番組、例えばクイズ番組では、各ク
イズが出題される前に、特定の音楽や効果音が挿入され
る場合がある。この様な特定の音楽や効果音を予め登録
しておき、それが出現する区間をイベントとして検出し
ておき、そのイベントに基づいて内容変化度を定義する
ことも可能である。結果として、各クイズ項目毎に改ペ
ージを挿入することができるようになる。また、ＣＭ区
間の前後で改ページを挿入することで、ＣＭと番組内容
とを別ページにして閲覧できるようになる。

【００７４】スポーツ中継、例えば野球中継では、各イ
ニングの始まりをテロップ認識により検出し、そこで改
ページを挿入することもできる。映画やドラマで、台本
のテキスト情報が映像ファイルに関連して取得可能であ
る場合には、台本データからシーンの大きな切れ目を検
出し、その切れ目において改ページするようにすること
も可能である。

【００７５】家庭用ビテオカメラで撮影された映像の場
合には、撮影日時がテープに記録されている。撮影され
た日時をテープに記録されたデータから取得し、日時が
切り替わった時点で改ページを挿入することもできる。
例えば、旅行先で撮影された映像の場合、日付毎に改ペ
ージした電子映像文書を作成できる。なお、テープから
直接、日時のデータを取得できない場合には、画面に表
示されたテロップから日時を認識することも可能であ
る。 《実施形態4》 図２１のフロー図を用いて、図４のステップ409 におけ
る目次、表紙、索引を実施する手順について説明する。
本実施形態では、映像インデックス情報を参照してある
条件に合う画像をピックアップし、目次、表紙、索引ペ
ージを自動的に作成する。

【００７６】まず、利用者は図６に示す各種設定のため
のユーザインタフェースを用いて目次生成条件607 、表
紙生成条件608 、索引生成条件609 を設定する。ステッ
プ１９は、現在着目している代表画像について内容変化
度を算出する。詳細については実施形態３で説明した図
１９中の破線ブロックで囲む処理と同じであり、説明を
割愛する。

【００７７】ステップ2201は、代表画像に対応する内容
変化度が目次生成条件607 に利用者が設定したしきい値
よりも大きい場合に、その代表画像を目次ページに追加
する（ステップ2202）。目次ページのレイアウト例を図
２２Ａに示す。目次ページ上の代表画像６１を利用者が
マウス等で指示した場合には、対応ページにジャンプす
るように、ページ管理テーブル122 （図９）に対応ペー
ジの情報などを記録する。

【００７８】ステップ2203は表紙に貼り付ける代表画像
が既に作成済みかどうかを調べる。まだ作成されていな
ければ、ステップ2204は着目する代表画像の中央にテロ
ップが表示されているかを調べ、表示されていればステ
ップ2205で、その代表画像を表紙用の代表画像とし、そ
のようにページ管理テーブル122 に記録する。表紙に
は、映像全体を代表する画像を表示することが望まし
い。映画の場合は映画のタイトル、テレビ番組の場合は
番組のタイトルがそれにあたる。ここでは、テロップが
中央部に表示された代表画像で最初に現れるものを一枚
見つけ、その画像を表紙に貼り付けるようにしている。
図２２Ｂに表表紙の画面例を示す。ここは、表紙に1枚
の代表画像６１を貼り付けるようにしているが、複数枚
貼り付けるようにすることももちろん可能である。

【００７９】ステップ2206は、着目する代表画像にテロ
ップが表示されているか否かを調べ、表示されていれば
ステップ2207で、代表画像６１を索引に追加するととも
に、テロップに表示されている文字列をアルファベット
順（あいうえお順）にソートして図２２Ｃに例示するよ
うに索引ページを作成する。更に、ステップ2208はテロ
ップが表示された代表画像を強調表示するように、ペー
ジ管理テーブル122の強調表示方法909 に記録する。

【００８０】目次作成条件としては、以上説明したもの
以外にも様々なものを考えることができる。実施形態３
で説明したのと同様にして、特定の音楽、台本データ、
ビデオカメラにより記録された日時情報に基づいて目次
ページを作成することが可能である。目次ページを作成
すると同時に、目次項目と対応する付箋を自動的に作成
することももちろん可能である。

【００８１】自動的に目次、索引、表表紙を作成するこ
とにより、本の体裁を持った電子映像文書を自動的に作
成でき、閲覧の際、目次ページを参照して映像の概要を
把握したり、索引ページを利用して必要な映像に迅速に
アクセスできるようになる。ただし、自動的に作成され
た目次、表紙、索引ページに不備がある場合には、図４
の編集ステップ409 において修正できるようにすること
が好適である。余計な目次項目を削除したり、索引項目
を追加したりする。

【００８２】以上の手順をコンピュータによって実現す
るためのプログラムは、コンピュータが読み取り可能な
可搬媒体メモリ、半導体メモリ、ハードディスクなどの
適当な記憶媒体に格納することができる。

【００８３】

【発明の効果】以上説明したように、本発明によれば、
映像を映像現象に関する特徴的なイベント毎にサンプル
した映像等を、本型の使い勝手を持った電子映像文書イ
ンタフェース環境にのせたことにより、利用者は、映像
情報を細かく各ページに表現されたイベント単位の画像
列で把握し、全体的な映像の流れや、映像内容を把握す
る際にはページをぱらぱらめくるなど、本型インタフェ
ースの利点を享受でき、更に映像の特徴情報を利用する
ことで、特定の部分への多彩なアクセスが可能になるな
どの効果がある。

【図面の簡単な説明】

【図１】従来技術のコンピュータ上の映像再生モニタの
例を示した図。

【図２】従来技術のコンピュータ上の映像編集ユーザイ
ンタフェースの例を示した図。

【図３】映像の代表画像をスクロール付きのウィンドウ
に展開した従来技術の例を示した図。

【図４】この発明による電子映像文書作成手順を示した
フロー図。

【図５】Ａは映像インデックス管理テーブル121Aの例を
示す表、Ｂは管理ファイル121Bの例を示す表、Ｃはカメ
ラパラメータテーブルの例を示す表。

【図６】利用者が電子映像文書の作成条件を設定するた
めの画面例。

【図７】この発明による代表画像及び代表音画像をレイ
アウトした例を示した図。

【図８】Ａはページに代表画像をレイアウトする方法の
例を示した図、Ｂはページに代表画像をレイアウトする
他の方法の例を示した図。

【図９】ページ管理テーブルを説明するための図。

【図１０】この発明によりレイアウトした電子映像文書
の中のページイメージの例を示した図。

【図１１】この発明により作成された電子映像文書の閲
覧処理手順を示すフロー図。

【図１２】この発明により作成された電子映像文書の利
用環境例を示す図。

【図１３】実施形態２を説明するためのフロー図。

【図１４】Ａはレイアウト制約を説明するための図、Ｂ
はレイアウト制約を説明するための図、Ｃはレイアウト
制約を説明するための図、Ｄはレイアウト制約を説明す
るための図。

【図１５】実施形態２のレイアウト方法を説明するため
の具体例の図。

【図１６】Ａは実施形態２のレイアウト過程を示した
図、Ｂは実施形態２のレイアウト過程を示した図、Ｃは
実施形態２のレイアウト過程を示した図、Ｄは実施形態
２のレイアウト過程を示した図。

【図１７】実施形態２を更に詳細に説明するためのフロ
ー図。

【図１８】実施形態２において、占有される領域を管理
する方法について説明するための図。

【図１９】改ページの判定手順を説明するためのフロー
図。

【図２０】Ａは内容変化度に基づいたページレイアウト
について説明するための図、ＢはＡの内容変化度に基づ
く第１ページの代表画像例を示す図、ＣはＡの内容変化
度に基づく第２ページの代表画像例を示す図、ＤはＡの
内容変化度に基づく第３ページの代表画像例を示す図。

【図２１】目次、表紙、索引ページを自動生成する手続
きについて説明するための図。

【図２２】Ａは目次の例、Ｂは表紙の例、Ｃは索引ペー
ジの例。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 隆 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (56)参考文献 特開 平７−284049（ＪＰ，Ａ) 特開 平５−12336（ＪＰ，Ａ) 特開 平７−182366（ＪＰ，Ａ) 特開 平９−237273（ＪＰ，Ａ) 特開 平５−181910（ＪＰ，Ａ) 特開 平３−9393（ＪＰ，Ａ) 特開 平３−41573（ＪＰ，Ａ) 鈴木，外２名「ＢｏｏｋＷａｒｅ：本 と本棚メタファによるマルチメディア情 報ハンドリング」情報処理学会研究報告 （97−ＨＩ−72），Ｖｏｌ．97，Ｎｏ. 43，ｐ．67−72，1997（平９−５−16) 小澤，外３名「ブックメタファ：マル チメディア情報の閲覧における『本』イ ンタフェース」画像電子学会誌，Ｖｏ ｌ．25，Ｎｏ．５，1996，ｐ．454−463 （平８−10−25) 菊川，川淵「映像資料サマリー自動作 成システムの開発」電子情報通信学会論 文誌，Ｖｏｌ．Ｊ75−Ａ，Ｎｏ．２, 1992，ｐ．204−212（平４−２−25) 大場，外２名「ヒューマンインタフェ ース環境の演出的構築法」情報処理学会 研究報告（93−ＩＭ−９−３），Ｖｏ ｌ．93，Ｎｏ．２，1993（平５−１− 14) 上野，外３名「ブックメタファによる ＨＴＭＬ情報の閲覧と検索」情報処理学 会研究報告（96−ＩＭ−24−６），Ｖｏ ｌ．96，Ｎｏ．２，1996，ｐ．37−44 （平８−１−12) 村野井，外４名「映画におけるシーン の抽出を利用した階層的なビデオブラウ ザの構築」情報処理学会研究報告（97− ＩＭ−32−６），Ｖｏｌ．97．￥，Ｎ ｏ．89，1997，ｐ．29−34（平９−９− 12) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30 H04N 5/78 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (38)

(57)【特許請求の範囲】
1. 【請求項１】 映像から本型のインタフェースを持つ電
   子映像文書を作成する方法であって、 (a) 上記映像を解析することにより予め決めた複数の種
   類のイベントを順次検出し、検出されたイベントとその
   イベント開始及び終了時刻と、その時刻内の映像の解析
   過程で算出された画像の特徴情報とを映像インデックス
   情報として、上記映像中のそのイベントの映像（以下部
   分映像という）と対応させて管理する映像インデックス
   管理テーブルを作成するステップと、 (b) 代表画像を作成する条件を利用者に指定させるステ
   ップと、 (c) 上記作成条件に従って上記インデックス管理テーブ
   ルの映像インデックス情報を参照して、上記作成条件に
   合致する部分映像を上記映像から選択し、その部分映像
   の代表画像を作成するステップと、 (d) 上記一連の代表画像を時間順に予め決めたサイズの
   ページにレイアウトしていき、レイアウトがすんだ現在
   の代表画像の位置に対し、次にレイアウトすべき代表画
   像が、現ページ領域からはみ出す場合、及び予め改ペー
   ジの理由となるイベントの種類と画像付加情報に対しそ
   れぞれ決めた重み係数を与え、各代表画像について重み
   係数の和をその代表画像の画像内容変化度と規定し、次
   にレイアウトすべき代表画像の内容変化度を計算し、そ
   の値が予め決めた閾値より大きい場合はそれぞれ改ペー
   ジし、新規ページに続きの代表画像をレイアウトするス
   テップと、 (e) ページ毎にレイアウトされた少なくとも１つ以上の
   上記代表画像から上記映像中の対応する部分映像へのリ
   ンク情報を管理するページ内容テーブルと、ページをイ
   ンデックスとして上記ページ内容テーブルを管理するペ
   ージインデックステーブルとを少なくとも有するページ
   管理テーブルを作成するステップと、を含む。
2. 【請求項２】 請求項１の方法において、上記ステップ
   (c)は複数の画像を上記映像インデックス管理テーブル
   に記録されている映像インデックス情報を用いて合成し
   て、上記代表画像を生成するステップを含む。
3. 【請求項３】 請求項２の方法において、上記ステップ
   (a)はカメラ操作に関するイベントを検出し、その映像
   解析により得られたカメラパラメータを時刻に対応させ
   て管理するカメラパラメータテーブルを作成するステッ
   プを含み、上記ステップ(c)はカメラ操作に関するイベ
   ントがないシーンについて、シーン切り換えイベントの
   直後又は一定時間後の画像を代表画像として作成し、カ
   メラ操作があるシーンについては上記カメラパラメータ
   テーブルを参照してそのシーンから抽出された複数の画
   像を合成して作成されるパノラマ画像を代表画像として
   作成するステップを含む。
4. 【請求項４】 請求項１の方法において、上記ステップ
   (d)は音情報を含む上記部分映像にリンクされた上記代
   表画像に隣接して音情報を表すアイコンを上記ページ上
   に配置するステップを含む。
5. 【請求項５】 請求項１の方法において、上記ページ管
   理テーブルを作成する上記ステップ(e)は、各ページ毎
   にそのページに表示するアイテムとしての代表画像のア
   イテム番号と対応してページレイアウト中におけるその
   代表画像の位置を指定する位置情報とその代表画像に対
   応する上記部分映像への上記リンク情報を含むページ内
   容テーブルを作成するステップを含む。
6. 【請求項６】 請求項５の方法において、上記ページ管
   理テーブルを作成する上記ステップ(e)は、上記ページ
   内容テーブル内の上記アイテム番号に対応して代表画像
   データが書き込まれた画像データテーブルを作成するス
   テップを含む。
7. 【請求項７】 請求項５又は６の方法において、上記ペ
   ージ内容テーブルを作成するステップは、アイテム番号
   と対応する上記映像中の部分映像へのリンク情報を書き
   込むステップを含む。
8. 【請求項８】 請求項５又は６の方法において、上記電
   子映像文書は、表表紙ページと、目次ページと、本文ペ
   ージと、索引ページと、を含み、これらのページと、こ
   れらに対応する上記ページ内容テーブル内のページへの
   ポインタとを保持するページインデックステーブルを作
   成するステップを含む。
9. 【請求項９】 請求項８の方法において、上記ページイ
   ンデックステーブルを作成するステップは、上記代表画
   像をレイアウトする処理を行う際又はレイアウトした後
   に、上記ページ内容テーブルの上記代表画像に関する付
   加情報が、利用者が指定した条件に合う代表画像をリス
   トアップするステップと、 リストアップされた代表画像を表紙又は目次又は索引と
   して表紙ページ又は目次ページ又は索引ページにレイア
   ウトし、そのレイアウトに関する情報を代表画像に対応
   させて保持する表紙ページ又は目次ページ又は索引ペー
   ジのページ内容テーブルを追加生成するステップと、 上記表紙ページ又は目次ページ又は索引ページへの関連
   付け情報を上記ページインデックステーブルに記録する
   ステップ、とを含む。
10. 【請求項１０】 請求項９の方法において、予めイベン
    トの種類と画像付加情報に対しそれぞれ決められた重み
    係数を与え、各代表画像についての重み係数の和をその
    代表画像の画像内容変化度と規定し、上記ページインデ
    ックステーブルを作成するステップは、各代表画像の画
    像内容変化度を計算し、その値が予め決めた閾値以上で
    あるか判定し、閾値以上であれば上記目次ページに上記
    代表画像を追加するステップを含む。
11. 【請求項１１】 請求項９の方法において、各代表画像
    の中央にテロップが含まれるか判定し、含まれていれば
    その代表画像を表示画像として表表紙ページに配置する
    ステップを含む。
12. 【請求項１２】 請求項９の方法において、各代表画像
    にテロップが含まれているか判定し、含まれていればそ
    の代表画像を索引ページに索引項目として追加すること
    をすべての代表画像について繰り返し実行し、上記索引
    項目を予め決めた規則に従って順に配列して索引ページ
    を作成するステップを含む。
13. 【請求項１３】 請求項５の方法において、上記ページ
    内容テーブルを作成するステップは、上記代表画像に関
    する付加情報が、予め決めた特定な条件に合致する場合
    には、レイアウト上の上記代表画像を強調的に表現する
    ための情報を上記ページ内容テーブルに付加するステッ
    プを含む。
14. 【請求項１４】 請求項１の方法において、上記ステッ
    プ(d)は、新たに配置する代表画像の位置を、時間順に
    右方向及び下方向に、Xmax(P_i）＜Xmin(P_i+1)、かつYmi
    n(P_i+1)＞Ymin(P_i)、又はYmin(P_i+1)＞Ymax(P_i)の制約
    条件で、無駄になる領域の面積を最小とするステップを
    含み、P_i とP_i+1とは、それぞれ既に配置された代表画像
    と新たに配置する代表画像、Xmax、Xmin、Ymax、Yminと
    は、それぞれ領域PのX座標の最大値、X座標の最小値、Y
    座標の最大値、Y座標の最小値である。
15. 【請求項１５】 各ページに対応してそのページに表示
    すべき代表画像のアイテム番号と、画像位置と、部分映
    像リンク先とが書き込まれたページ内容テーブルと、各
    画像のアイテム番号に対応した画像データを保持する画
    像データテーブルと、部分映像リンク先に指定された領
    域にそれぞれ部分映像データが格納された映像ファイル
    と、各ページ番号とそのページ番号に対応するページ内
    容テーブルを指定するポインタとが保持されたページイ
    ンデックステーブルとを含む電子映像文書を使用する方
    法であり、以下のステップを含む： (a) ページ制御ボタンが押されたかを判定し、押された
    場合は制御ボタンが指定するページに対応する上記ペー
    ジ内容テーブルを参照してアイテム番号と位置情報を得
    て、そのアイテム番号に対応する画像データを上記画像
    データテーブルから読み出し、ページ画面上の上記位置
    情報により指定される位置に表示されることにより指定
    されたページ画面を表示するステップと、 (b) 代表画像ボタンが押されたかを判定し、押された場
    合はその代表画像ボタンに対応する上記ページ内容テー
    ブルを参照してその代表画像のリンク先情報を得て、そ
    のリンク先情報で指定される部分映像を上記映像ファイ
    ルから読み出し、画面に再生するステップと、 (x) 編集モードを指定するボタンが押されたか判定し、
    押された場合は編集モードに入 るステップと、 (y) 上記編集モードにおいて、部分映像を代表する代表
    画像が指定される毎にその指定された代表画像のリンク
    先を指定順に記憶するステップと、 (z) 再生ボタンが押されたかを判定し、押された場合
    は、記憶した上記代表画像のリンク先を、その指定順に
    アクセスして対応する部分映像を上記映像ファイルから
    読み出し、再生するステップ。
16. 【請求項１６】 請求項１５の方法において、利用者用
    の付箋テーブルが設けられており、以下のステップを更
    に含む： (c) ページ画面上の付箋張り付けボタンが押されたかを
    判定し、押された場合は、上記付箋テーブルに現ページ
    上の、利用者により指定された代表画像のアイテム番号
    を現ページ番号と対応して書き込み、対応する画像デー
    タを上記画像データテーブルから読み出して付箋画像と
    して指定された位置に指定された大きさで張り付けるス
    テップと、 (d) 任意のページにおいて、付箋画像が押されたかを判
    定し、押された場合はその付箋画像が指定するページ番
    号を上記付箋テーブルから読み出し、そのページ番号が
    指定するページに対応する上記ページ内容テーブルを参
    照して画像のアイテム番号と位置情報を得て、そのアイ
    テム番号に対応する画像データを上記画像データテーブ
    ルから読み出し、ページ画面上の上記位置情報により指
    定される位置に表示することにより上記付箋が張り付け
    られたページ画面を表示するステップ。
17. 【請求項１７】 請求項１５の方法において、更に以下
    のステップを含む： (c) 目次ページの特定の項目としての代表画像が指定さ
    れると、その画像のアイテム番号を含むページ内容テー
    ブルをアクセスするステップと、 (d) そのページ内容テーブルに示されているアイテム番
    号と位置情報を得、そのアイテム番号に対応する画像デ
    ータを上記画像データテーブルから読み出すステップ
    と、 (e) ページ画面上の上記位置情報により指定される位置
    に表示することにより指定されたページ画面を表示する
    ステップ。
18. 【請求項１８】 請求項１５の方法において、更に以下
    のステップを含む： (c) 索引ページの特定の項目としての代表画像が指定さ
    れると、その画像のアイテム番号を含むページ内容テー
    ブルをアクセスするステップと、 (d) そのページ内容テーブルに示されているアイテム番
    号と位置情報を得、そのアイテム番号に対応する画像デ
    ータを上記画像データテーブルから読み出すステップ
    と、 (e) ページ画面上の上記位置情報により指定される位置
    に表示することにより指定されたページ画面を表示する
    ステップ。
19. 【請求項１９】 請求項１５の方法において、利用者
    が、ページ中に表現されている音の視覚化表現画像が指
    定されたか判定し、指定された場合は関連する情報を上
    記ページ管理テーブルから調べ、表示すると共に、関連
    する部分映像を上記映像ファイルから読み出して再生す
    るステップを含む。
20. 【請求項２０】 映像から本型のインタフェースを持つ
    電子映像文書を作成するためのプログラムが格納された
    記録媒体であり、上記プログラムはコンピュータに以下
    の処理をさせることを含む： (a) 上記映像を解析することにより予め決めた複数の種
    類のイベントを順次検出し、検出されたイベントとその
    イベント開始及び終了時刻と、その時刻内の映像の解析
    過程で算出された画像の特徴情報とを映像インデックス
    情報として、上記映像中のそのイベントの映像（以下部
    分映像という）と対応させて管理する映像インデックス
    管理テーブルを作成する処理と、 (b) 代表画像を作成する条件を利用者に指定させる処理
    と、 (c) 上記作成条件に従って上記インデックス管理テーブ
    ルの映像インデックス情報を参照して、上記作成条件に
    合致する部分映像を上記映像から選択し、その部分映像
    の代表画像を作成する処理と、 (d) 上記一連の代表画像を時間順に予め決めたサイズの
    ページにレイアウトしていき、レイアウトがすんだ現在
    の代表画像の位置に対し、次にレイアウトすべき代表画
    像が、現ページ領域からはみ出す場合、及び予め改ペー
    ジの理由となるイベントの種類と画像付加情報に対しそ
    れぞれ決めた重み係数を与え、各代表画像について重み
    係数の和をその代表画像の画像内容変化度と規定し、次
    にレイアウトすべき代表画像の内容変化度を計算し、そ
    の値が予め決めた閾値より大きい場合はそれぞれ改ペー
    ジし、新規ページに続きの代表画像をレイアウトする処
    理と、 (e) ページ毎にレイアウトされた少なくとも１つ以上の
    上記代表画像から上記映像中の対応する部分映像へのリ
    ンク情報を管理するページ内容テーブルと、ページをイ
    ンデックスとして上記ページ内容テーブルを管理するペ
    ージインデックステーブルとを少なくとも有するページ
    管理テーブルを作成する処理。
21. 【請求項２１】 請求項２０の記録媒体において、上記
    処理(c)は複数の画像を上記映像インデックス管理テー
    ブルに記録されている映像インデックス情報を用いて合
    成して、上記代表画像を生成する処理を含む。
22. 【請求項２２】 請求項２１の記録媒体において、上記
    処理(a)はカメラ操作に関するイベントを検出し、その
    映像解析により得られたカメラパラメータを時刻に対応
    させて管理するカメラパラメータテーブルを作成する処
    理を含み、上記処理(c)はカメラ操作に関するイベント
    がないシーンについて、シーン切り換えイベントの直後
    又は一定時間後の画像を代表画像として作成し、カメラ
    操作があるシーンについては上記カメラパラメータテー
    ブルを参照してそのシーンから抽出された複数の画像を
    合成して作成されるパノラマ画像を代表画像として作成
    するステップを含む。
23. 【請求項２３】 請求項２０の記録媒体において、上記
    処理(d)は音情報を含む上記部分映像にリンクされた上
    記代表画像に隣接して音情報を表すアイコンを上記ペー
    ジ上に配置する処理を含む。
24. 【請求項２４】 請求項２０の記録媒体において、上記
    ページ管理テーブルを作成する上記処理（ｅ）は、各ペ
    ージ毎にそのページに表示するアイテムとしての代表画
    像のアイテム番号と対応してページレイアウト中におけ
    るその代表画像の位置を指定する位置情報とその代表画
    像に対応する上記部分映像への上記リンク情報を含むペ
    ージ内容テーブルを作成する処理を含む。
25. 【請求項２５】 請求項２４の記録媒体において、上記
    ページ管理テーブルを作成する上記処理（ｅ）は、上記
    ページ内容テーブル内の上記アイテム番号に対応して代
    表画像データが書き込まれた画像データテーブルを作成
    する処理を含む。
26. 【請求項２６】 請求項２４又は２５の記録媒体におい
    て、上記ページ内容テーブルを作成する処理は、アイテ
    ム番号と対応する上記映像中の部分映像へのリンク情報
    を書き込む処理を含む。
27. 【請求項２７】 請求項２４又は２５の記録媒体におい
    て、上記電子映像文書は、表表紙ページと、目次ページ
    と、本文ページと、索引ページと、を含み、上記プログ
    ラムは、これらのページと、これらに対応する上記ペー
    ジ内容テーブル内のページへのポインタとを保持するペ
    ージインデックステーブルを作成する処理を含む。
28. 【請求項２８】 請求項２７の記録媒体において、上記
    ページインデックステーブルを作成する処理は、上記代
    表画像をレイアウトする処理を行う際又はレイアウトし
    た後に、上記ページ内容テーブルの上記代表画像に関す
    る付加情報が、利用者が指定した条件に合う代表画像を
    リストアップする処理と、 リストアップされた代表画像を表紙又は目次又は索引と
    して表紙ページ又は目次ページ又は索引ページにレイア
    ウトし、そのレイアウトに関する情報を代表画像に対応
    させて保持する表紙ページ又は目次ページ又は索引ペー
    ジのページ内容テーブルを追加生成する処理と、 上記表紙ページ又は目次ページ又は索引ページへの関連
    付け情報を上記ページインデックステーブルに記録する
    処理、とを含む。
29. 【請求項２９】 請求項２８の記録媒体において、上記
    プログラムはコンピュータに、 予めイベントの種類と画像付加情報に対しそれぞれ決め
    られた重み係数を与え、各代表画像についての重み係数
    の和をその代表画像の画像内容変化度と規定し、上記ペ
    ージインデックステーブルを作成するステップは、各代
    表画像の画像内容変化度を計算し、その値が予め決めた
    閾値以上であるか判定し、閾値以上であれば上記目次ペ
    ージに上記代表画像を追加する処理、をさせることを含
    む。
30. 【請求項３０】 請求項２８の記録媒体において、上記
    プログラムはコンピュータに、 各代表画像の中央にテロップが含まれるか判定し、含ま
    れていればその代表画像を表示画像として表表紙ページ
    に配置する処理、をさせることを含む。
31. 【請求項３１】 請求項２８の記録媒体において、上記
    プログラムはコンピュータに、各代表画像にテロップが
    含まれているか判定し、含まれていればその代表画像を
    索引ページに索引項目として追加することをすべての代
    表画像について繰り返し実行し、上記索引項目を予め決
    めた規則に従って順に配列して索引ページを作成する処
    理、をさせることを含む。
32. 【請求項３２】 請求項２４の記憶媒体において、上記
    ページ内容テーブルを作成する処理は、上記代表画像に
    関する付加情報が、予め決めた特定な条件に合致する場
    合には、レイアウト上の上記代表画像を強調的に表現す
    るための情報を上記ページ内容テーブルに付加する処理
    を含む。
33. 【請求項３３】 請求項２０の記録媒体において、上記
    処理(d)は、新たに配置する代表画像の位置を、時間順
    に右方向及び下方向に、Xmax(P_i)＜Xmin(P_i+1)、かつYm
    in(P_i+1)＞Ymin(P_i)、又はYmin(P_i+1)＞Ymax(P_i)の制約
    条件で、無駄になる領域の面積を最小とする処理を含
    む。含み、P_i とP_i+1とは、それぞれ既に配置された代表
    画像と新たに配置する代表画像、Xmax、Xmin、Ymax、Ym
    inとは、それぞれ領域PのX座標の最大値、X座標の最小
    値、Y座標の最大値、Y座標の最小値である。
34. 【請求項３４】 各ページに対応してそのページに表示
    すべき代表画像のアイテム番号と、画像位置と、部分映
    像リンク先とが書き込まれたページ内容テーブルと、各
    画像のアイテム番号に対応した画像データを保持する画
    像データテーブルと、部分映像リンク先に指定された領
    域にそれぞれ部分映像データが格納された映像ファイル
    と、各ページ番号とそのページ番号に対応するページ内
    容テーブルを指定するポインタとが保持されたページイ
    ンデックステーブルとを含む電子映像文書を使用するプ
    ログラムが格納された記録媒体であり上記プログラムは
    コンピュータに以下の処理をさせることを含む： (a) ページ制御ボタンが押されたかを判定し、押された
    場合は制御ボタンが指定するページに対応する上記ペー
    ジ内容テーブルを参照してアイテム番号と位置情報を得
    て、そのアイテム番号に対応する画像データを上記画像
    データテーブルから読み出し、ページ画面上の上記位置
    情報により指定される位置に表示することにより指定さ
    れたページ画面を表 示する処理と、 (b) 代表画像ボタンが押されたかを判定し、押された場
    合はその代表画像ボタンに対応する上記ページ内容テー
    ブルを参照してその代表画像のリンク先情報を得て、そ
    のリンク先情報で指定される部分映像を上記映像ファイ
    ルから読み出し、画面に再生する処理と、 (x) 編集モードを指定するボタンが押されたか判定し、
    押された場合は編集モードに入 る処理と、 (y) 上記編集モードにおいて、部分映像を代表する代表
    画像が指定される毎にその指定された代表画像のリンク
    先を指定順に記憶する処理と、 (z) 再生ボタンが押されたかを判定し、押された場合
    は、記憶した上記代表画像のリンク先を、その指定順に
    アクセスして対応する部分映像を上記映像ファイルから
    読み出し、再生する処理。
35. 【請求項３５】 請求項３４の記録媒体において、利用
    者用の付箋テーブルが設けられており、以下の処理を更
    に含む： (c) ページ画面上の付箋張り付けボタンが押されたかを
    判定し、押された場合は、上記付箋テーブルに現ページ
    上の、利用者により指定された代表画像のアイテム番号
    を現ページ番号と対応して書き込み、対応する画像デー
    タを上記画像データテーブルから読み出して付箋画像と
    して指定された位置に指定された大きさで張り付ける処
    理と、 (d) 任意のページにおいて、付箋画像が押されたかを判
    定し、押された場合はその付箋画像が指定するページ番
    号を上記付箋テーブルから読み出し、そのページ番号が
    指定するページに対応する上記ページ内容テーブルを参
    照して画像のアイテム番号と位置情報を得て、そのアイ
    テム番号に対応する画像データを上記画像データテーブ
    ルから読み出し、ページ画面上の上記位置情報により指
    定される位置に表示することにより上記付箋が張り付け
    られたページ画面を表示する処理。
36. 【請求項３６】 請求項３４の記録媒体において、更に
    以下の処理を含む： (c) 目次ページの特定の項目としての代表画像が指定さ
    れると、その画像のアイテム番号を含むページ内容テー
    ブルをアクセスする処理と、 (d) そのページ内容テーブルに示されているアイテム番
    号と位置情報を得、そのアイテム番号に対応する画像デ
    ータを上記画像データテーブルから読み出す処理と、 (e) ページ画面上の上記位置情報により指定される位置
    に表示することにより指定されたページ画面を表示する
    処理。
37. 【請求項３７】 請求項３４の記録媒体において、更に
    以下の処理を含む： (c) 索引ページの特定の項目としての代表画像が指定さ
    れると、その画像のアイテム番号を含むページ内容テー
    ブルをアクセスする処理と、 (d) そのページ内容テーブルに示されているアイテム番
    号と位置情報を得、そのアイテム番号に対応する画像デ
    ータを上記画像データテーブルから読み出す処理と、 (e) ページ画面上の上記位置情報により指定される位置
    に表示することにより指定されたページ画面を表示する
    処理。
38. 【請求項３８】 請求項３４の記録媒体において、利用
    者が、ページ中に表現されている音の視覚化表現画像が
    指定されたか判定し、指定された場合は関連する情報を
    上記ページ管理テーブルから調べ、表示すると共に、関
    連する部分映像を上記映像ファイルから読み出して再生
    する処理を含む。