JPH11242542A

JPH11242542A - 要約作成表示装置

Info

Publication number: JPH11242542A
Application number: JP4384798A
Authority: JP
Inventors: Jiyunshirou Kanda; 準史郎神田; Koji Wakimoto; 浩司脇本; Satoshi Tanaka; 聡田中
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1998-02-25
Filing date: 1998-02-25
Publication date: 1999-09-07

Abstract

(57)【要約】【課題】マルチメディアデータの内容を簡単に把握可
能な代表画像の作成と、作成された代表画像を用いて要
約の表示を行う装置を提供する。【解決手段】データを入力するデータ入力手段と、デ
ータの一部を取り出しデータユニットとして定義するデ
ータ抽出手段と、データユニット毎に代表画像を定義す
る代表画像定義手段と、データユニット間の関係を定義
する関係定義手段と、データユニット間に定義された関
係に従ってデータユニット及び代表画像の関係を表示す
る要約提供手段とを備えた。【効果】データ間の関係の理解が容易になる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、マルチメディア
データの内容の要約を、ユーザーに簡単に理解可能な形
式で作成し表示を行う要約作成表示装置に関するもので
ある。

【０００２】

【従来の技術】近年、パーソナルコンピュータの高速化
と蓄積可能なデータ容量の増大に伴い、マルチメディア
データと呼ばれる画像、音声、テキスト、動画像を複合
させたデータの利用が盛んになってきている。マルチメ
ディアデータは、その容量の点からＬＡＮや電話回線を
通して通信する場合はそのまま伝送することは困難であ
る。ほとんどのデータは圧縮された形式で伝送される
が、動画像をはじめとしたマルチメディアデータに関し
てはプレビューを行うためにも非常に大きいデータを伝
送する必要がある。近年、インターネットを利用したシ
ステムが用いられるようになり、この点の改善が求めら
れている。

【０００３】従来、マルチメディアデータの要約は、画
像をサムネイル化したものが利用されていた。例えば、
特開昭５９−７９９２号公報に示されているように、プ
レビューのために縮小画像をディスプレイ上に表示し、
文書の領域のみを拡大表示して別ウインドウに表示する
ことで編集対象の確認をすることが出来る。

【０００４】また、Ａｄｏｂｅ社の「Ａｃｒｏｂａｔ
Ｒｅａｄｅｒ」では、本文ともに目次画面を横に配置し
て表示することが可能である。目次画像は、各頁を縮小
したサムネイル画像を表示し、これにより大まかなレイ
アウトが理解可能であった。

【０００５】さらに、動画像の要約の場合、Ｈ社の「Ｍ
ＥＤＩＡＣＨＥＦＰＲＩＮＴ」のように、動画像をシ
ーン単位に分割した先頭フレームのデータを並べて表示
し、それをプリントアウトしたものをビデオテープの外
箱などに貼ることにより中身の大筋が理解できるものが
あった。

【０００６】

【発明が解決しようとする課題】上述したような特開昭
５９−７９９２号公報に記載された従来例では、文書全
体の縮小画像の文字や重要な点に関しては全体を縮小し
ているために理解することが困難であった。また、文字
に限ってのみ編集ウインドウ上で確認することは可能で
あるが、図に重要な点が含まれている場合にその確認を
することは不可能であるという問題点があった。

【０００７】また、「ＡｃｒｏｂａｔＲｅａｄｅｒ」
の場合は、文書のページ全体を縮小してしまうため、縮
小後のサムネイル画像では文字の判別が難しかった。ま
た、イメージも同比率で縮小されるため細部が不鮮明に
なるという問題点があった。

【０００８】この発明は、前述した問題点を解決するた
めになされたもので、マルチメディアデータのそれぞれ
の特徴的な部分を抽出し、その部分を拡大して代表画像
を作成し、また、動画の要約の場合はフレームデータだ
けでは内容の理解のための情報は不十分であるので、動
画データを階層構造化して代表画像の関係を理解しやす
いように表示したり、代表画像そのものに動きの内容が
理解できるようなものを作成することができる要約作成
表示装置を得ることを目的とする。

【０００９】

【課題を解決するための手段】この発明に係る要約作成
表示装置は、データを入力するデータ入力手段と、デー
タの一部を取り出しデータユニットとして定義するデー
タ抽出手段と、データユニット毎に代表画像を定義する
代表画像定義手段と、データユニット間の関係を定義す
る関係定義手段と、データユニット間に定義された関係
に従ってデータユニット及び代表画像の関係を表示する
要約提供手段とを備えたものである。

【００１０】また、この発明に係る要約作成表示装置
は、前記関係定義手段が、データユニット間に親子関係
を定義し、前記要約提供手段が、前記親子関係に従って
データユニット及び代表画像の関係を表示するものであ
る。

【００１１】また、この発明に係る要約作成表示装置
は、さらに、１つまたは複数のデータユニットを選択す
るデータユニット選択手段と、前記選択された１つまた
は複数のデータユニットを構成要素とする新たなデータ
ユニットを定義するグループ化手段とを備え、前記関係
定義手段が、新たに定義されたデータユニットと選択さ
れたデータユニットとの間に親子関係を定義するもので
ある。

【００１２】また、この発明に係る要約作成表示装置
は、前記要約提供手段が、データユニット間に定義され
た親子関係に基づき、代表画像間を線で結んで表示する
ものである。

【００１３】また、この発明に係る要約作成表示装置
は、前記要約提供手段が、前記親子関係に基づき決定さ
れる各データユニットの階層レベルに応じて代表画像の
サイズを変化させて表示するものである。

【００１４】また、この発明に係る要約作成表示装置
は、前記要約提供手段が、同じ親を持つデータユニット
に対応する代表画像を並べて表示するとともに、それら
の代表画像の階層構造に基づき線を表示するものであ
る。

【００１５】また、この発明に係る要約作成表示装置
は、前記データ入力手段が、動画を入力し、前記データ
抽出手段が、前記動画を所定フレーム数毎に分割し、前
記代表画像定義手段が、分割された各フレーム群の画像
を加工して細長い長方形の代表画像を作成し、前記関係
定義手段が、各データユニット間に時間に基づいて順序
関係を定義し、前記要約提供手段が、定義された順序関
係に従って代表画像を長方形の短辺方向に配置して表示
するものである。

【００１６】また、この発明に係る要約作成表示装置
は、前記データ入力手段が、動画を入力し、前記データ
抽出手段が、前記動画を構成するフレームから領域を抽
出し、前記代表画像定義手段が、前記抽出された各領域
を所定の方法で加工して代表画像を定義し、前記要約提
供手段が、各代表画像を合成して表示するものである。

【００１７】また、この発明に係る要約作成表示装置
は、前記データ入力手段が、マルチメディアデータを入
力し、前記データ抽出手段が、前記マルチメディアデー
タをメディアの種類毎に分割し、前記代表画像定義手段
が、各々のメディア毎に予め決められた方法でデータを
加工して代表画像を作成し、前記要約提供手段が、各代
表画像を合成して表示するものである。

【００１８】この発明に係る要約作成表示装置は、デー
タユニット毎に定義された代表画像とデータユニット間
に定義された関係データに基づいて要約を表示する要約
表示装置において、データユニット間に定義された関係
に基づきデータユニット及び代表画像の関係を表示する
要約提供手段を備えたものである。

【００１９】また、この発明に係る要約作成表示装置
は、さらに、外部からの指示に基づきデータユニットを
取捨選択するデータユニット選択手段と、前記選択した
データユニットについてデータユニット間に関係を定義
する関係定義手段とを備え、前記要約提供手段が、前記
定義された関係に基づきデータユニット及び代表画像の
関係を表示するものである。

【００２０】また、この発明に係る要約作成表示装置
は、さらに、データ転送速度に基づきデータユニットを
取捨選択するデータユニット選択手段と、前記選択した
データユニットについてデータユニット間に関係を定義
する関係定義手段とを備え、前記要約提供手段が、前記
定義された関係に基づきデータユニット及び代表画像の
関係を表示するものである。

【００２１】

【発明の実施の形態】実施の形態１．この発明の実施の
形態１に係る要約作成表示装置について図面を参照しな
がら説明する。図１は、この発明の実施の形態１に係る
要約作成表示装置を示す図である。なお、各図中、同一
符号は同一又は相当部分を示す。

【００２２】図１において、１２１は要約作成表示装
置、１２２は動画表示部、１２３は動画操作部、１２４
はスライドバー、１２５はカット変化点記憶ボタンであ
る。

【００２３】図２は、この発明の実施の形態１に係る要
約作成表示装置のシステム（ソフトウエア）構成を示す
ブロック図である。

【００２４】要約作成表示装置１２１は、外部各種媒体
からまたは文字などのデータを入力するデータ入力手段
１０１と、このデータ入力手段１０１から入力されたデ
ータの中から一部分をとりだしデータユニットとして定
義するデータ抽出手段１０２と、データユニットごとに
代表画像を定義する代表画像定義手段１０３と、データ
ユニット間に関係を定義する関係定義手段１０４と、デ
ータユニット間に定義された関係に従って代表画像を合
成または配置して提供する要約提供手段１０５とを持
つ。

【００２５】データ入力手段１０１に入力するデータ
は、本実施の形態では図３に示すような動画像１１１を
利用するものとするが、入力可能なデータは動画像以外
の音声、静止画像、テキストなど他のデータであっても
差し支えない。

【００２６】動画像１１１は、ＣＤ−ＲＯＭ上に保存さ
れているものとする。ＣＤ−ＲＯＭドライブよりデータ
入力手段１０１を通して動画像１１１が読み込まれる。
読み込まれた動画像１１１は、例えば、図３に示すよう
に、カットの切れ目を基準にひとまとまりを「データユ
ニット」としてデータ抽出手段１０２により定義するこ
とが出来る。

【００２７】次に、図１に示すような要約作成表示装置
１２１でカットの切れ目を指定する。動画表示部１２２
に動画像を表示し、動画操作部１２３により動画像の再
生、停止などを操作してカット変化点を探し出す。もし
くはスライドバー１２４を用いることも可能である。こ
れらの操作によりカットが変化した直後のフレームを表
示させ、カット変化点記憶ボタン１２５を押す。この部
分は自動的にカットの切れ目を検出するような方法を用
いても良い。

【００２８】カットを切れ目を基準にしたデータユニッ
トを「シーン」と呼ぶ。シーンの先頭フレームの画像を
代表画像定義手段１０３により代表画像として定義す
る。データユニット間の関係はシーンのタイムコードを
利用してシーケンシャルな関係を関係定義手段１０４に
より定義する。つまり、図４に示すようなデータ構造が
作成されることになる。

【００２９】以上のようにして作成されたデータユニッ
トと代表画像とシーン間の関係を要約提供手段１０５に
より表示する。表示した例を、図５に示す。同図におい
て、１３１は要約表示ウインドウ、１３２は代表画像で
ある。各データユニットの代表画像１３２であるシーン
の先頭フレームを並べて表示することで動画像の大まか
な構成が理解できるようになる。

【００３０】上記システムは以下のように拡張すること
が可能である。

【００３１】（１）関係定義手段での親子関係の定義関係定義手段１０４において上記実施の形態ではタイム
コードを利用してシーケンシャルな関係を定義したのみ
であったが、例えば、動画像の１００フレームから２０
０フレームまでが１つのデータユニット（ユニット１と
する）であり、１００フレームから１１０フレーム（ユ
ニット２）、１１０フレームから１２０フレーム（ユニ
ット３）がそれぞれ別のデータユニットであるような場
合に、ユニット２とユニット３はユニット１に従属する
形になる。

【００３２】（２）データユニットのグルーピングデータユニットは上記実施の形態ではシーンのみとして
いたが、シーンを複数個まとめてグループとして扱うこ
とが出来るようにするために、図６に示すように、上記
システムに一つまたは複数個のデータユニットを選択す
るデータユニット選択手段１０６と、一つまたは複数の
データユニットを構成要素とする新たなデータユニット
を定義するグループ化手段１０７とを設ける。

【００３３】これにより例えば意味的に一つのまとまり
であるが、シーンとしては複数個に分割されるようなも
のをグルーピングし、大きく一つのデータユニットで表
すことが可能となる。関係定義手段１０４は、これに伴
い新たに作成されたデータユニットと既存のデータユニ
ット間に親子関係を定義することで動画像の階層構造化
が可能となる。

【００３４】（３）親子関係の表示上記（１）及び（２）の拡張により、データユニット間
の親子関係が作成される。親子関係を示すために、図７
に示すように、親データユニットと子データユニットを
ツリー形式で表示する。同図において、１４１は代表画
像である。

【００３５】また、別の表示方法として、図８に示すよ
うに、代表画像の一覧を表示し、階層構造のレベルによ
って画像のサイズを変更するような方法を採ることも可
能である。画像のサイズはこの例では上位のレベルほど
大きいものとしたが、この逆でも構わない。同図におい
て、１５１は要約表示ウインドウ、１５２は階層レベル
１の代表画像、１５３は階層レベル２の要約表示ウイン
ドウ、１５４は階層レベル３の要約表示ウインドウであ
る。

【００３６】さらに、別の形態として、図９に示すよう
に、代表画像の一覧を表示し、階層構造の範囲に従って
下線の長さを変更して表示するような方法もとることが
出来る。同図において、１６１は要約表示ウインドウ、
１６２は代表画像である。

【００３７】（４）動画の色分布画像の表示動画像のシーンをデータユニットとして定義する際に、
人手によりカット変化点を検出する場合、または自動的
にカット変化点を検出した結果が誤っていた場合にカッ
ト変化点を探すのは動画像の１フレーム１フレームを調
べていく必要があり、困難な作業である。

【００３８】それを改善するために動画変化点を簡単に
見つけだすことが出来るような動画の色分布画像を作成
する。図１０に処理フローを示す。

【００３９】まず、動画像の１フレームを取り出し、左
上点を開始位置とする（ステップ２０１〜２０２）。次
に、フレームを構成する色の出現頻度を計測する（ステ
ップ２０３〜２０６）。このとき用いる色は輝度のみで
も良いし、Ｒ、Ｇ、Ｂのカラーバンドのどれかでも良い
し、画素値そのものでも良いし、画素値をルックアップ
テーブルを用いて類似色にマッピングした結果を用いて
も良い。本実施の形態ではルックアップテーブルにより
２５６色にマッピングしたものを用いることとする。こ
の処理を最終画素（右下点）まで行い、フレーム全体に
おける出現頻度一覧を作成する。

【００４０】次に、出現頻度の一覧が作成されたら、例
えば、高さ１００幅１ドットの空白画像を用意し、頻度
の最高のものを求める。頻度が最高のもののインデック
ス値に該当する色で、全体の占める割合分だけ空白画像
を下から塗りつぶしていく（ステップ２０７〜２１
０）。

【００４１】図１１に、この出現頻度一覧とそれにより
作成される画像の例を示す。同図において、２５１は出
現頻度一覧表、２５２は画素値１８０の領域、２５３は
画素値５０の領域、２５４は画素値１３０の領域であ
る。

【００４２】図１１の出現頻度一覧２５１から画素値が
１３０のものが５０％あるので画素値１３０で空白画像
を下から５０ドット塗りつぶす。他の色に関しても同様
に空いている領域内で塗りつぶす。図１１では画素値５
０のものが３０％となり、画素値１８０のものが２０％
となっているので、この配分に従って空白画像を埋めて
いく。

【００４３】これにより図１２に示すカラーバーＡ２６
０が作成される。カラーバーＡ２６０を保持し、この処
理を次のフレームに対しても行い、その結果を先に求め
ておいたカラーバーＡ２６０と新たに作成されたカラー
バーＢ２６１を、図１２に示すように、右方向に追加す
る形で合成する。

【００４４】この処理を最終フレームまで繰り返すこと
で、図１３に示すような、色分布画像が作成される。こ
れによって、図１４に示すようなタイトル画面２８０が
動画中にある場合、青と白の占める比率が大きい部分が
この種類のフレームであることがわかる。また、同一シ
ーンはほぼ同じ色で構成されるので色の構成が変わった
点をマウスなどで選択すればカット変化点のフレームを
選択することも可能となる。

【００４５】（５）動き内容表示画像の作成動画像の代表フレームを設定する際に、シーン中の１枚
の静止画像だけではどの物体が動いているのかや、どう
いったカメラワークであるかが理解できない。そのため
動きの内容が簡単に理解できる簡単なアニメーションを
作成する。

【００４６】データ抽出手段１０２は、動画を構成する
フレームから差分画像を利用して背景画像が主に動いて
いるか静止しているかを判定して、背景画像が主に動い
ている場合は静止領域を、背景画像が主に静止している
場合は移動物体の領域を抽出する。差分画像による背景
画像の移動、静止の判定は以下のようにして行う。背景
が動いている場合は、差分画像における画素値の総和は
背景が動かないものに比べて極端に大きくなる。

【００４７】この処理をシーンの切り替わり点まで繰り
返し、背景の静止、移動が判定されたら、代表画像定義
手段１０３により、次のような背景の分離と画像の合成
を行う。

【００４８】１）背景が静止している動画像の場合背景が静止している場合は、開始フレームと次の対象と
なるフレームの差分画像を求め、差分値が大きい部分の
領域を取り出す。シーンの変わり目まで同じ処理を行い
対象の移動領域を求める。その結果を各対象フレームで
物体切り出しを行い、領域の大きさ、色分布の比較を行
うことで切り出された物体間の整合をとる。この処理で
得られた物体に該当する位置を抜き出した画像を作成す
ることを開始フレームからシーンの変わり目まで繰り返
すことで背景画像の抽出を行うことが出来る。抽出され
た背景画像に抽出された移動物体を重ね合わせた画像を
作成し、移動経路に従ってその処理を数回繰り返し、簡
単なアニメーションを作成する。

【００４９】２）背景が移動している動画像の場合背景が移動している場合は、背景が静止している場合と
逆の方法で差分画像から静止領域を求める。これは差分
値が大きい方ではなく小さい方を利用するだけでこれが
得られる。この静止領域を対象フレームから抜き出した
背景画像をすべての対象フレームに関して作成する。こ
のとき対象フレームにはすべてではなく間引いて処理を
行っても構わない。

【００５０】背景領域の静止領域を含まない部分を、例
えば、図１５のように、背景領域２９１を切り取り、こ
の部分をモデルとして次の対象フレームとマッチングを
とる。マッチングが得られた位置が静止領域を含んでい
る場合はその領域を覆い隠すように位置合わせを行い、
モデル画像があったフレームから静止領域を除いたもの
を張り付ける。

【００５１】この作業を繰り返すことによって、例え
ば、図１６のような、動画像３０２を利用した場合、図
１７のような横長のパノラマ画像３１１が作成される。
パノラマ画像３１１のある一定サイズの部分を取り出
し、静止物体３０１を重ね合わせた画像を作成し、移動
方向に従って逐次パノラマ画像側の位置を変更していっ
て簡単なアニメーション作成する。

【００５２】例えば、ＧＩＦファイルにして連続させる
ことでアニメーションＧＩＦファイルとすることや、動
画像に変換することも可能である。これにより小さい容
量で動画の内容を簡単に示すアニメーションが表示でき
るようになる。

【００５３】（６）マルチメディアデータへの発展上記システムをデータ入力手段１０１で用いるデータを
動画に限らず、写真・テキスト・図面などの異種メディ
アが混在する場合について説明する。ＷＷＷに代表され
るような複数のメディアからなるマルチメディア文書
（以下、複合文書）の要約を作成するシステムに関して
説明する。本実施の形態では複合文書としてＨＴＭＬ文
書を利用するものとする。

【００５４】ＨＴＭＬ文書は、文字と画像、音声、動画
などの様々なメディアの混在利用が可能である。現状で
は、この内容を確認するには実際にＷＷＷブラウザなど
でＨＴＭＬ文書を開いて確認する必要がある。そこでこ
れの要約を作成し、ＵＲＬと共に保持しておくことで簡
単にＷＷＷのホームページの内容が理解可能になる。

【００５５】代表画像定義手段１０３は、現在表示して
いるＨＴＭＬ文書からユーザーが指定した特徴語の検索
を行う。特徴語が存在した場合はその語の位置を記憶す
る。スクリーンキャプチャなどの画面イメージをデータ
化する方法を用いて画面イメージをメモリ上に保存す
る。保存した画面イメージはサムネイル化するために縮
小化される。見つけられた特徴語を拡大した画像データ
を作成し、サムネイル画像と張り合わせ、要約提供手段
１０５で表示する。これにより、図１８に示すような特
徴語の領域が大きく内容の理解可能な要約画像の作成が
可能となる。

【００５６】以上述べたような実施の形態のものを用い
ることで要約作成と表示が可能になる。本実施の形態で
は作成と同時に表示する部分のみを記述したが、要約デ
ータを読み込んで上記実施の形態に記述したような表示
のみを行うものも考えられる。

【００５７】また、利用者がデータユニットの階層構造
表示において末端まで表示するかしないかを選択できる
ようにしておくことで、よけいなデータの表示を省くこ
とも可能である。

【００５８】上記実施の形態で説明したシステムは、ネ
ットワークを通して表示すべき内容をＨＴＭＬ文書化し
て送信することも可能である。その時、回線状況を監視
する手段を設け、回線状況に応じた情報を送ることが可
能である。前述のようなアニメーション画像を送信する
場合、回線が細い場合または混雑している場合は代表す
る１コマだけを送り、回線が太い場合または空いている
場合は動画そのものを送信したりコマ数の多いアニメー
ションを送信したりすることが可能である。

【００５９】

【発明の効果】この発明に係る要約作成表示装置は、以
上説明したとおり、データを入力するデータ入力手段
と、データの一部を取り出しデータユニットとして定義
するデータ抽出手段と、データユニット毎に代表画像を
定義する代表画像定義手段と、データユニット間の関係
を定義する関係定義手段と、データユニット間に定義さ
れた関係に従ってデータユニット及び代表画像の関係を
表示する要約提供手段とを備えたので、データ間の関係
の理解が容易になるという効果を奏する。

【００６０】また、この発明に係る要約作成表示装置
は、以上説明したとおり、前記関係定義手段が、データ
ユニット間に親子関係を定義し、前記要約提供手段が、
前記親子関係に従ってデータユニット及び代表画像の関
係を表示するので、親子関係が簡単に理解可能となると
いう効果を奏する。

【００６１】また、この発明に係る要約作成表示装置
は、以上説明したとおり、さらに、１つまたは複数のデ
ータユニットを選択するデータユニット選択手段と、前
記選択された１つまたは複数のデータユニットを構成要
素とする新たなデータユニットを定義するグループ化手
段とを備え、前記関係定義手段が、新たに定義されたデ
ータユニットと選択されたデータユニットとの間に親子
関係を定義するので、親子関係が簡単に理解可能となる
という効果を奏する。

【００６２】また、この発明に係る要約作成表示装置
は、以上説明したとおり、前記要約提供手段が、データ
ユニット間に定義された親子関係に基づき、代表画像間
を線で結んで表示するので、内容の把握が容易になると
いう効果を奏する。

【００６３】また、この発明に係る要約作成表示装置
は、以上説明したとおり、前記要約提供手段が、前記親
子関係に基づき決定される各データユニットの階層レベ
ルに応じて代表画像のサイズを変化させて表示するの
で、階層構造の範囲の理解が容易になるという効果を奏
する。

【００６４】また、この発明に係る要約作成表示装置
は、以上説明したとおり、前記要約提供手段が、同じ親
を持つデータユニットに対応する代表画像を並べて表示
するとともに、それらの代表画像の階層構造に基づき線
を表示するので、階層構造の範囲の理解が容易になると
いう効果を奏する。

【００６５】また、この発明に係る要約作成表示装置
は、以上説明したとおり、前記データ入力手段が、動画
を入力し、前記データ抽出手段が、前記動画を所定フレ
ーム数毎に分割し、前記代表画像定義手段が、分割され
た各フレーム群の画像を加工して細長い長方形の代表画
像を作成し、前記関係定義手段が、各データユニット間
に時間に基づいて順序関係を定義し、前記要約提供手段
が、定義された順序関係に従って代表画像を長方形の短
辺方向に配置して表示するので、カットの切れ目や特定
フレームの検索が容易になるという効果を奏する。

【００６６】また、この発明に係る要約作成表示装置
は、以上説明したとおり、前記データ入力手段が、動画
を入力し、前記データ抽出手段が、前記動画を構成する
フレームから領域を抽出し、前記代表画像定義手段が、
前記抽出された各領域を所定の方法で加工して代表画像
を定義し、前記要約提供手段が、各代表画像を合成して
表示するので、動画の内容をすべて見なくても簡単に動
画の概要が把握できるという効果を奏する。

【００６７】また、この発明に係る要約作成表示装置
は、以上説明したとおり、前記データ入力手段が、マル
チメディアデータを入力し、前記データ抽出手段が、前
記マルチメディアデータをメディアの種類毎に分割し、
前記代表画像定義手段が、各々のメディア毎に予め決め
られた方法でデータを加工して代表画像を作成し、前記
要約提供手段が、各代表画像を合成して表示するので、
入力データが写真、テキスト、図面のような異種メディ
アが混在したようなものであっても、データの概要を簡
単に把握することが可能となるという効果を奏する。

【００６８】この発明に係る要約作成表示装置は、以上
説明したとおり、データユニット毎に定義された代表画
像とデータユニット間に定義された関係データに基づい
て要約を表示する要約表示装置において、データユニッ
ト間に定義された関係に基づきデータユニット及び代表
画像の関係を表示する要約提供手段を備えたので、デー
タ間の関係の理解が容易になるという効果を奏する。

【００６９】また、この発明に係る要約作成表示装置
は、以上説明したとおり、さらに、外部からの指示に基
づきデータユニットを取捨選択するデータユニット選択
手段と、前記選択したデータユニットについてデータユ
ニット間に関係を定義する関係定義手段とを備え、前記
要約提供手段が、前記定義された関係に基づきデータユ
ニット及び代表画像の関係を表示するので、上位階層に
おけるデータ間の関係の理解が容易になるという効果を
奏する。

【００７０】また、この発明に係る要約作成表示装置
は、以上説明したとおり、さらに、データ転送速度に基
づきデータユニットを取捨選択するデータユニット選択
手段と、前記選択したデータユニットについてデータユ
ニット間に関係を定義する関係定義手段とを備え、前記
要約提供手段が、前記定義された関係に基づきデータユ
ニット及び代表画像の関係を表示するので、データ転送
速度に応じた必要データを効率よく送信することが可能
となるという効果を奏する。

【図面の簡単な説明】

【図１】この発明の実施の形態１に係る要約作成表示
装置を示す図である。

【図２】この発明の実施の形態１に係る要約作成表示
装置のシステム構成を示すブロック図である。

【図３】この発明の実施の形態１に係る要約作成表示
装置のデータユニット作成の１例を示す図である。

【図４】この発明の実施の形態１に係る要約作成表示
装置のデータユニットの関係を示す図である。

【図５】この発明の実施の形態１に係る要約作成表示
装置の要約提供手段による要約表示画面例を示す図であ
る。

【図６】この発明の実施の形態１に係る要約作成表示
装置においてデータユニット選択手段とグループ化手段
を追加したシステム構成を示すブロック図である。

【図７】この発明の実施の形態１に係る要約作成表示
装置の要約提供手段による要約表示画面例を示す図であ
る。

【図８】この発明の実施の形態１に係る要約作成表示
装置の要約提供手段による要約表示画面例を示す図であ
る。

【図９】この発明の実施の形態１に係る要約作成表示
装置の要約提供手段による要約表示画面例を示す図であ
る。

【図１０】この発明の実施の形態１に係る要約作成表
示装置の色分布画像作成動作を示すフローチャートであ
る。

【図１１】この発明の実施の形態１に係る要約作成表
示装置における出現頻度一覧とカラーバーを示す図であ
る。

【図１２】この発明の実施の形態１に係る要約作成表
示装置のカラーバーの合成方法を示す図である。

【図１３】この発明の実施の形態１に係る要約作成表
示装置のカラーバーの例を示す図である。

【図１４】この発明の実施の形態１に係る要約作成表
示装置のタイトル画面の例を示す図である。

【図１５】この発明の実施の形態１に係る要約作成表
示装置において静止領域を取り除いた領域の例を示す図
である。

【図１６】この発明の実施の形態１に係る要約作成表
示装置の動画像の例を示す図である。

【図１７】この発明の実施の形態１に係る要約作成表
示装置において作成されるパノラマ画像の例を示す図で
ある。

【図１８】この発明の実施の形態１に係る要約作成表
示装置において特徴語を拡大してサムネイル化した画面
の例を示す図である。

【符号の説明】

１０１データ入力手段、１０２データ抽出手段、１
０３代表画像定義手段、１０４関係定義手段、１０
５要約提供手段、１０６データユニット選択手段、
１０７グループ化手段、１２１要約作成表示装置、
１２２動画表示部、１２３動画操作部、１２４ス
ライドバー、１２５カット変化点記憶ボタン。

Claims

【特許請求の範囲】

【請求項１】データを入力するデータ入力手段と、データの一部を取り出しデータユニットとして定義する
データ抽出手段と、データユニット毎に代表画像を定義する代表画像定義手
段と、データユニット間の関係を定義する関係定義手段と、データユニット間に定義された関係に従ってデータユニ
ット及び代表画像の関係を表示する要約提供手段とを備
えたことを特徴とする要約作成表示装置。
【請求項２】前記関係定義手段は、データユニット間
に親子関係を定義し、前記要約提供手段は、前記親子関係に従ってデータユニ
ット及び代表画像の関係を表示することを特徴とする請
求項１記載の要約作成表示装置。
【請求項３】さらに、１つまたは複数のデータユニッ
トを選択するデータユニット選択手段と、前記選択された１つまたは複数のデータユニットを構成
要素とする新たなデータユニットを定義するグループ化
手段とを備え、前記関係定義手段は、新たに定義されたデータユニット
と選択されたデータユニットとの間に親子関係を定義す
ることを特徴とする請求項２記載の要約作成表示装置。
【請求項４】前記要約提供手段は、データユニット間
に定義された親子関係に基づき、代表画像間を線で結ん
で表示することを特徴とする請求項２記載の要約作成表
示装置。
【請求項５】前記要約提供手段は、前記親子関係に基
づき決定される各データユニットの階層レベルに応じて
代表画像のサイズを変化させて表示することを特徴とす
る請求項２記載の要約作成表示装置。
【請求項６】前記要約提供手段は、同じ親を持つデー
タユニットに対応する代表画像を並べて表示するととも
に、それらの代表画像の階層構造に基づき線を表示する
ことを特徴とする請求項２記載の要約作成表示装置。
【請求項７】前記データ入力手段は、動画を入力し、前記データ抽出手段は、前記動画を所定フレーム数毎に
分割し、前記代表画像定義手段は、分割された各フレーム群の画
像を加工して細長い長方形の代表画像を作成し、前記関係定義手段は、各データユニット間に時間に基づ
いて順序関係を定義し、前記要約提供手段は、定義された順序関係に従って代表
画像を長方形の短辺方向に配置して表示することを特徴
とする請求項１記載の要約作成表示装置。
【請求項８】前記データ入力手段は、動画を入力し、前記データ抽出手段は、前記動画を構成するフレームか
ら領域を抽出し、前記代表画像定義手段は、前記抽出された各領域を所定
の方法で加工して代表画像を定義し、前記要約提供手段は、各代表画像を合成して表示するこ
とを特徴とする請求項１記載の要約作成表示装置。
【請求項９】前記データ入力手段は、マルチメディア
データを入力し、前記データ抽出手段は、前記マルチメディアデータをメ
ディアの種類毎に分割し、前記代表画像定義手段は、各々のメディア毎に予め決め
られた方法でデータを加工して代表画像を作成し、前記要約提供手段は、各代表画像を合成して表示するこ
とを特徴とする請求項１記載の要約作成表示装置。
【請求項１０】データユニット毎に定義された代表画
像とデータユニット間に定義された関係データに基づい
て要約を表示する要約表示装置において、データユニット間に定義された関係に基づきデータユニ
ット及び代表画像の関係を表示する要約提供手段を備え
たことを特徴とする要約作成表示装置。
【請求項１１】さらに、外部からの指示に基づきデー
タユニットを取捨選択するデータユニット選択手段と、前記選択したデータユニットについてデータユニット間
に関係を定義する関係定義手段とを備え、前記要約提供手段は、前記定義された関係に基づきデー
タユニット及び代表画像の関係を表示することを特徴と
する請求項１０記載の要約作成表示装置。
【請求項１２】さらに、データ転送速度に基づきデー
タユニットを取捨選択するデータユニット選択手段と、前記選択したデータユニットについてデータユニット間
に関係を定義する関係定義手段とを備え、前記要約提供手段は、前記定義された関係に基づきデー
タユニット及び代表画像の関係を表示することを特徴と
する請求項１０記載の要約作成表示装置。