JPH11284948A - サムネイル作成方法及びサムネイル表示方法 - Google Patents

Abstract

(57)【要約】 【課題】 再生する動画像データの内容を一枚の代表画
像で利用者に理解させることは困難である。 【解決手段】 １つの動画像データに対して複数枚のサ
ムネイルを作成する。この際、動画像データの複数枚の
フレームＴ１、Ｔ２、・・・Ｔｎを取り出し、それらを用
いて複数枚のサムネイルを作成するか、あるいは１枚の
フレームＴ１を取り出し、それを用いてサイズの異なる
サムネイルを複数枚作成する。このようにして作成した
サムネイルを表示する際には、各動画像データの複数枚
のサムネイルをコマ送り表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像データの内
容を簡易表示するための縮小画像であるサムネイルの作
成方法とその表示方法に関する。

【０００２】

【従来の技術】ディスク状記憶媒体により動画像データ
を扱うことにより得られる特徴は、動画像データへのラ
ンダムアクセスが容易にできることである。しかし、ラ
ンダムアクセスする先がどのような内容であるかを、い
かにしてユーザに表示できるかがAV機器やAV記録フォー
マットの使いやすさに密接に関係してくる。特に記録す
るデータ量が大量になるほどこの問題は深刻である。

【０００３】複数ある大量のデータ量を持つ動画像デー
タの中からユーザが所望の動画像データを選択する際に
は迅速かつ簡潔な内容表示を行うことが重要である。

【０００４】例えば、最近普及が著しいディジタルステ
ィルカメラ（ＪＰＥＧ圧縮による静止画カメラ）の場
合、大量に撮られた静止画をユーザが選択再生し易いよ
うに、サムネイルを用いたメニュー表示を行う方法がよ
く使われている。ディジタルスティルカメラの場合、１
枚の静止画データが１つのファイルとして記録され、同
時にサムネイル用の画像データも１つのファイルとして
記憶媒体（メモリカードやフロッピーディスクなど）に
記録される。このとき、本画像と縮小画像(サムネイル)
との関係は、ファイル名に規則（例えば、同一プリフィ
ックスまたはサフィックスを付ける）を設けて認識する
方法がよく使われている。また、ディジタルスティルカ
メラの場合、扱う画像が１枚であるので、本画像を作成
及び記録した後にサムネイル用の画像を作成及び記録す
れば十分であった。

【０００５】

【発明が解決しようとする課題】上記従来技術において
説明したディジタルカメラの例では、取り扱う画像デー
タの対象が静止画像である。静止画データを縮小画像で
表すとき、前記静止画データの内容を１枚の縮小画像で
表現することが可能であるが、検索対象のデータが動画
像データの場合は、その内容を一つの代表縮小画像で表
現するのは困難である。

【０００６】例えば、数分の動画像データを一つのファ
イルに記録したときにその内容を１枚の画像で表すため
にはその代表画像を動画像データの中からユーザが選定
し、もしくは編集によって作り出さなければならない。

【０００７】本発明は上記従来技術において説明したデ
ィスク状記憶媒体上に記録されている動画像データの同
定において支障となる上記課題を解決するものである。

【０００８】

【課題を解決するための手段】上記課題を解決するため
請求項１にかかる発明は、動画像データの内容を迅速か
つ簡潔に表現するために、動画像データ中の１フレーム
を静止画データとして取り出してサムネイルとし、前記
動画像データに対して複数のサムネイルを作成すること
を特徴としている。

【０００９】また、請求項２に係る発明は、サムネイル
の表示方法の種類を増やすために、前記動画像データ中
の１フレームに対してデータ量の異なる複数のサムネイ
ルを作成することを特徴としている。

【００１０】また、請求項３に係る発明は、動画像デー
タの内容表示を詳細に行うために、複数のサムネイル画
像を作成する方法として、動画像データにおけるシーン
チェンジを検出し、シーンチェンジ直後の画像をサムネ
イルとして自動作成することを特徴としている。

【００１１】また、請求項４にかかる発明は、動画像デ
ータの内容表示を詳細に行うための複数のサムネイル画
像を作成する方法として、サムネイルの作成において動
画像データに対して一定の時間間隔を空けてサムネイル
を自動で作成することを特徴としている。

【００１２】また、請求項５にかかる発明は、動画像デ
ータの内容とサムネイルの表示順番を一致させて表示す
る方法として、サムネイルの管理情報に記録されている
サムネイルの画像と動画像データの関連付けの情報に基
づいてサムネイルの表示順番を決定し、前記表示順番に
よって前記サムネイルのコマ送り表示を行うことを特徴
としている。

【００１３】また、請求項６にかかる発明は、動画像デ
ータのサムネイルを繰り返し表示することによってユー
ザが動画像データの内容を理解するのを助けるために、
動画像データに対するサムネイルを表示し終えた後、再
び最初に表示したサムネイルからコマ送り表示を繰り返
して行うことを特徴としている。

【００１４】

【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を説明する。なお、以下の説明では、
「サムネイル」とは、原画像より表示サイズの縮小され
た静止画像であって、管理情報によって動画像データ中
に存在するフレームに関連付けられている縮小静止画像
のことであるものとする。

【００１５】図１は、本発明の実施形態の一つであるサ
ムネイルの作成・記録・表示が可能な動画像データ記録
・再生装置の構成図である。

【００１６】まず、図１の動画像データ記録・再生装置
の各構成要素が、サムネイルの作成・記録・表示時に行
う動作を説明する。

【００１７】（ユーザI/F部100）ユーザI/F部100はユー
ザによるキーボード、リモコン等の入力装置からの指示
を記録・再生制御部に知らせる等の制御を行う。

【００１８】（記録・再生制御部110）記録・再生制御
部110はシステム全体を制御する部分である。ユーザI/F
部100より送られてくるユーザからの指示を基に動画像
データ記録部120、動画像データ再生部130、制御データ
管理部140の各部に制御命令を送る。

【００１９】（動画像データ記録部120）動画像データ
記録部120は、映像信号入力部121、映像信号符号化部12
2、フレームメモリ123を有している。

【００２０】・映像信号入力部121 チューナーやカメラなどから入力した映像信号を動画像
データに変換するために映像信号符号化部122へ送る。

【００２１】サムネイルの作成にあたっては、映像信号
入力部121が映像信号よりサムネイルを作成するフレー
ムを取り出して、一旦、半導体メモリ等で構成されたフ
レームメモリ123へと蓄える。入力された映像信号を全
て映像信号符号化部122に送った後に、フレームメモリ1
23に蓄えられたサムネイル用のフレームを映像信号符号
化部122へ送る。

【００２２】また、映像信号入力部121は映像信号から
サムネイル作成用のフレームを取り出す際にフレーム番
号(そのフレームは映像信号中の何番目のフレームに該
当しているか)を制御データ管理部140へと送る。

【００２３】・映像信号符号化部122 映像信号入力部121より送られてきた映像信号をMPEG2(I
SO/IEC13818-2参照)などの符号化方式を用いて圧縮・符
号化して動画像データに変換する。変換された動画像デ
ータは後述のファイルシステム部150を通して記憶媒体2
00へ記録される。

【００２４】サムネイルの作成にあたっては、映像信号
入力部121より送られるサムネイル画像用のフレームを
縮小し、MPEG2やJPEG(ISO/IEC10918参照)等の符号化方
式を用いて圧縮・符号化してサムネイルの画像データを
作成する。

【００２５】作成されたサムネイルの画像データは制御
データ管理部140の管理する記憶部141に記憶される。ま
た、映像信号符号化部122はこの符号化の際に得られる
サイズ情報(画像の大きさ、画像のデータ量など)を制御
データ管理部140へと送る。

【００２６】・フレームメモリ123 フレームメモリ123は、半導体メモリ等で構成され、映
像信号より取り出されたサムネイル画像用のフレームを
一時的に蓄える。

【００２７】（動画像データ再生部130）動画像データ
再生部130は、動画像データ入力部131と動画像データ復
号部132と映像信号出力部133を有している。

【００２８】・動画像データ入力部131 動画像データ入力部131は、記録・再生制御部110の命令
を受けて、後述するように制御データ管理部140で管理
されているサムネイル管理情報を基に、記憶部141に蓄
えられているサムネイルの画像データを読み出し、動画
像データ復号部132へ送る。

【００２９】・動画像データ復号部132 動画像データ復号部132は、動画像データ入力部131より
送られてきたMPEG2やJPEG等の形式で符号化されている
サムネイルの画像データを復号する。復号されたサムネ
イルの画像データは映像信号出力部133へ送られる。

【００３０】・映像信号出力部133 映像信号出力部133は動画像データ復号部132より送られ
てくるサムネイルの画像データに対して、サムネイル管
理情報に基づいて複数のサムネイルを一つの画面に合成
するなどの処理を行い、表示装置に出力する。

【００３１】（制御データ管理部140）制御データ管理
部140は、サムネイル管理情報を作成し、記憶部141にそ
れらの管理情報を記録して、サムネイルを管理する。

【００３２】サムネイル管理情報は、動画像データ中の
フレーム番号とサムネイルの画像データの記録位置情報
であり、動画像データ記録部120より送られてきたフレ
ーム番号とサムネイルの画像データを元に作成される。

【００３３】また、サムネイル管理情報にはサムネイル
の画像サイズやサムネイル画像の符号化形式(MPEG、JPE
G等)の情報も記録されている。

【００３４】制御データ管理部140は、記憶部141に記録
しているサムネイル管理情報またはサムネイル画像デー
タを作成または更新する毎に、サムネイル管理情報また
はサムネイル画像データを後述する記憶媒体200に書き
込む。

【００３５】・記憶部141 記憶部141は、制御データ管理部140で作成されたサムネ
イル管理情報と動画像データ記録部120で作成されたサ
ムネイルの画像データを記録する。

【００３６】（ファイルシステム部150）ファイルシス
テム部150は記憶媒体200上にディジタル信号で記憶され
ている動画像データに対するアクセスをファイルまたは
セクタといった単位で可能にし、また、そのファイルま
たはセクタ単位にランダムでアクセスを可能にする制御
を行う。

【００３７】（記憶媒体200）記憶媒体200には動画像デ
ータとサムネイルの管理情報及びサムネイルの画像デー
タが記録されている。ここで用いられる記憶媒体200と
しては、光ディスクやHDDなど、記録されているデータ
に対して少なくとも数100ミリ秒以下での頭出しが可能
な不揮発性の記憶媒体が好ましい。

【００３８】続いて、図１の動画像データ記録・再生装
置を用いたサムネイルの作成手順、及び表示方法を説明
する。

【００３９】（１）サムネイルの作成手順 映像信号入力部121は、入力された映像信号より複数の
フレームを取り出し、取り出したフレームを、サムネイ
ル作成用に複数のフレームをフレームメモリ123にコピ
ーする。このとき、コピーしたフレームの映像信号中で
の再生位置の情報など映像信号からフレームをコピーす
る際に得られる情報は、制御データ管理部140へ送られ
る。

【００４０】フレームメモリ123にコピーされたフレー
ムは、映像信号符号化部122が処理すべき映像信号が無
いときを見計らって、映像信号符号化部122に送られ
る。

【００４１】映像信号符号化部122では映像信号入力部1
21より送られてきた一連のフレームをサムネイルのサイ
ズに縮小して符号化する。

【００４２】サムネイルの画像サイズなど符号化の際に
得られる情報と符号化されたサムネイルの画像データは
制御データ管理部140へ送られる。

【００４３】制御データ管理部140では、映像信号入力
部121から送られてくるフレームの映像信号中での再生
位置情報などフレームをコピーする際に得られる情報と
映像信号符号化部122から送られてくるサムネイルの画
像サイズなど符号化の際に得られる情報をもとにサムネ
イルの管理情報を作成する。

【００４４】制御データ管理部140が作成したサムネイ
ル管理情報とサムネイルの画像データは記憶部141に記
録される。

【００４５】記憶部140に記録されているサムネイル管
理情報とサムネイルの画像データは更新毎に、ファイル
システム部150を通して記憶媒体200に記録される。

【００４６】（２）サムネイル表示手順 制御データ管理部140は、記録・再生制御部110からのサ
ムネイルの表示命令を受けると、サムネイルの管理情報
に基づいて記憶部141に記録されているサムネイルの動
画像データを動画像データ再生部130の動画像データ入
力部131を経由して動画像データ復号部133へ送る。

【００４７】動画像データ復号部133は、受け取ったサ
ムネイル画像データを復号し、映像信号出力部133へ送
る。映像信号出力部133では、制御データ管理部140が作
成・管理するサムネイル管理情報をもとに、動画像デー
タ復号部133より送られてくる複数のサムネイルの画像
を一つの表示画面に複数枚表示できるように合成して表
示装置に出力する。

【００４８】以上説明したようにして、図１の動画像デ
ータ記録・再生装置は、サムネイルの作成と表示を行
う。

【００４９】なお、上記説明では、入力された映像信号
から、サムネイル作成用の複数のフレームがどのように
して決められるかは特定していない。複数のフレーム
は、任意の方法で選択することができるからである。

【００５０】複数のフレームを決定してサムネイルを作
成する方法としては、例えば、動画像においてシーンチ
ェンジが起こるごとに、シーンチェンジ後の画像に対応
するフレームを取り出し、それを用いてサムネイルを作
成するという方法や、あるいは一定時間ごとにフレーム
を取り出し、それを用いてサムネイルを作成するという
方法が考えられる。以下に、この２つの方法を簡単に説
明する。

【００５１】シーンチェンジが発生したときにサムネイ
ルを作成する方法では、まず、シーンチェンジ発生の検
出が行われる。例えば、隣り合うフレームの各画素のＹ
ＵＶ、ＲＧＢ等色空間上での差分の２乗平均が予め決め
られた閾値を超えたとき、または動画像データと同期し
て再生される音声データがあるときに動画像データと同
時に再生される音声データの本数が変化したとき、また
は電子番組表（ＥＰＧ）など映像信号以外の情報からそ
の変化点を検出したときをシーンチェンジが発生した時
点とすることができる。本発明では、このようにしてシ
ーンチェンジが検出されると、シーンチェンジの発生し
た直後の画像に対応するフレームを取り出し、それを用
いてサムネイルを作成する。

【００５２】例えば、画素の差分の２乗平均に基づいて
シーンチェンジを検出する場合を考える。図１の映像信
号入力部121へ入力する映像信号のフレームをフレーム
バッファ123へ記録する。このフレームをフレームAとす
る。次に映像信号入力部121に入力するフレームをフレ
ームBとしたとき、フレームAの各画素が持つYUV、RGBと
いった色空間上でのベクトルとフレームBのフレームAの
各画素に対応する画素の持つベクトルの大きさの差をと
り２乗平均を求める。その２乗平均が予め決められた閾
値の値を超えたときには、シーンチェンジが発生したも
のとしてフレームBをサムネイル用の原画像としてフレ
ームバッファ123に蓄えておき、映像信号の符号化が終
了した後、映像符号化部122へ送り、符号化してサムネ
イル画像データに変換する。

【００５３】このようにして、本発明のサムネイル作成
方法では、シーンチェンジが発生するごとにサムネイル
を作成することができる。

【００５４】次に、一定時間ごとにサムネイルを作成す
る方法を説明する。この方法では、動画像データ中の再
生時間の時系列に並んでいるフレームに対して、一定の
時間間隔ごとのフレームに対応するサムネイルを自動作
成する。一定時間に一定枚数のフレームが連続する映像
信号が映像信号入力部121へ入力したときは、フレーム
バッファ123には一定枚数おきに入力されるフレームを
サムネイル用のフレームとして蓄える。それを映像信号
符号化部122で圧縮・符号化してサムネイル画像の画像
データに変換する。

【００５５】また、MPEG2システムストリーム(ISO/IEC1
3818-1参照)のPTSの様な再生時のフレームの表示時刻に
関する情報を持つデータを映像信号として入力したとき
は、映像信号入力部121はその情報から一定の時間間隔
で表示されるフレームを選び、フレームバッファ123に
蓄える。

【００５６】このようにして、本発明のサムネイル作成
方法では、一定時間ごとにサムネイルを作成することも
可能である。

【００５７】なお、ここまでの説明では、１つの動画像
データから複数のフレームを取り出し、取り出したフレ
ームのそれぞれからサムネイルを作成することによっ
て、１つの動画像データに対して複数枚のサムネイルを
得ている。しかし、本発明はこれには限られず、１つの
動画像データから１つのフレームを取り出して、そのフ
レームから複数枚のサムネイルを作成してもよい。この
場合には、例えば、図２に示すように、１つのフレーム
から作成される複数枚のサムネイルを、異なる画像サイ
ズを持つようにすることもできる。

【００５８】図２は、サムネイル画像と動画像データの
対応関係を示したものである。この図で動画像データは
時間軸に沿って表示されるフレーム列で表してある。ま
た、T1からTnは動画像データ中のサムネイルの示すフレ
ームである。

【００５９】上述したように、本発明のサムネイル作成
方法においては、複数枚のサムネイルが一連の動画像デ
ータの複数のフレームから作成される。あるいは、１つ
のフレームからも図２のように異なる画像サイズのサム
ネイルが複数作成される。作成されたサムネイルは、サ
ムネイル管理情報によって、サムネイル画像が動画像デ
ータ中のフレームを指すように、サムネイルの画像デー
タ記録位置の情報と一連の動画像データ中のサムネイル
が示すフレームとの関連付けをされる。

【００６０】続いて図３を参照しながら、複数枚のサム
ネイルを表示する方法の一例を説明する。

【００６１】表示画面上には、複数枚のサムネイルが表
示される。表示枚数は例えば、720×480画素の画面上に
176×112画素のサムネイルを表示し、サムネイル同士の
重ねあわせがないとすると最大16枚となる。画面上のサ
ムネイルは、それぞれが１つの動画像データに対応して
いる。つまり、複数の動画像データに関して、各動画像
データに対応づけられている複数枚のサムネイルのうち
１枚が画面上に表示されている。

【００６２】画面上に表示されるサムネイルは、各動画
像データに対応づけられている複数枚のサムネイルがコ
マ送り表示で全て順に表示されるように、次々と更新さ
れる。各動画像データの全てのサムネイルの表示が終わ
ると、再び最初に表示したサムネイルからコマ送り表示
を繰り返して行う。

【００６３】ユーザが画面に表示されている複数のサム
ネイルの中から１つのサムネイルを選択すると、その選
択されたサムネイルに対応する動画像を選択して再生を
開始する。

【００６４】このようにして、本発明のサムネイル表示
方法によれば、複数の動画像データの内容をコマ送り表
示で同時に表示することができ、ユーザが複数の動画像
データの中の１つを選択することを容易にすることがで
きる。

【００６５】また、各動画像データに対応づけられた複
数枚のサムネイルの表示順を変えることも可能である。
以下に、サムネイル表示順の変更について説明する。

【００６６】サムネイル管理情報はサムネイル画像デー
タの記録位置情報及びそのサムネイルに対応する動画像
データ中のフレームが再生される時間軸上での位置情報
であり、サムネイルの表示順番はサムネイル画像データ
の記録位置情報または時間軸上での動画像データ中のフ
レームの再生位置情報によって決定される。つまり、サ
ムネイルの画像データを表示順番に並べ替える必要はな
く、サムネイル管理情報に記録されているサムネイルの
画像データを記録した位置を示す情報の並び替え、また
は、サムネイルに対応する動画像データ中のフレームの
時間軸上における再生位置の情報の並び替えによってサ
ムネイルの表示順番を変える。

【００６７】図４において動画像データAのフレームPA1
からPA4と動画像データBのフレームPB1からPB3に対応す
るサムネイルTA1からTA4、TB1からTB3が作成してある。
ここで動画像データAのPA2とPA3の間に動画像データBを
挿入すると、新たに作られた動画像データCのサムネイ
ルの表示順番はPA1、PA2、PB1、PB2、PB3、PA4、PA5と
しなければならない。このとき、動画像データCのサム
ネイルを新たに作成するのではなく、「動画像データA
と動画像データBが持っているサムネイルの画像」に対
してのサムネイル画像データの記録位置情報もしくは時
間軸上における動画像データ中のフレームの再生位置情
報を、動画像データCのフレームの並びに合わせて並び
替える。

【００６８】

【発明の効果】以上説明したように、本発明では、動画
像データの内容表示において、その動画像データに属す
る複数のフレームより作成された複数枚の縮小画像であ
るサムネイルを持つことにより、そのサムネイルを画面
に表示することによってその動画像データの内容をユー
ザが理解することが容易になるという効果が得られる。

【００６９】また、動画像データに属するフレームに対
してデータ量の異なるサムネイルを持つことにより、サ
ムネイルの画像サイズや解像度の変更による装置とユー
ザの負担を減らし、かつ、表示パターンを増やして、そ
の動画像データの内容をユーザが理解することが容易に
なるという効果が得られる。

【００７０】また、サムネイルがシーンチェンジを検出
する毎に自動で作成されることにより、動画像データの
内容を作成された一連のサムネイルで詳細に表示し、か
つ、大量のサムネイル作成に関わるユーザの負担を減ら
す効果が得られる。

【００７１】また、サムネイルが一定時間間隔をおいて
自動で作成されることにより、動画像データの内容を作
成された一連のサムネイルで詳細に表示し、かつ、大量
のサムネイル作成に関わるユーザの負担を減らす効果が
得られる。

【００７２】また、サムネイルの管理情報に記録されて
いるサムネイルの画像と動画像データの関連付けの情報
に基づいてサムネイルの表示順番を決定し、前記表示順
番によって前記サムネイルのコマ送り表示することによ
って、動画像データの内容とサムネイルの表示順番を一
致させて表示し、動画像データの内容をユーザが理解す
ることが容易になるという効果が得られる。

【００７３】また、動画像データに対するサムネイルを
表示し終えた後、再び最初に表示したサムネイルからコ
マ送り表示を繰り返して行うことによって、繰り返し動
画像データの内容をユーザに対して示し、その動画像デ
ータの内容をユーザが理解することが容易になるという
効果が得られる。

【図面の簡単な説明】

【図１】サムネイルの作成・記録・表示が可能な動画像
データ記録・再生装置の構成図

【図２】サムネイル画像と動画像データの対応関係を示
す図

【図３】サムネイルの表示法を示す図

【図４】サムネイルの表示順番の変更方法を示す図

【符号の説明】

100 ユーザI/F部 110 記録・再生制御部 120 動画像データ記録部 121 映像信号入力部 122 映像信号符号化部 123 フレームメモリ 130 動画像データ再生部 131 動画像データ入力部 132 動画像データ復号部 133 映像信号出力部 140 制御データ管理部 141 記憶部 150 ファイルシステム部

Claims (6)

【特許請求の範囲】
1. 【請求項１】動画像データ中の１フレームを静止画デー
   タとして取り出してサムネイルとするとき、前記動画像
   データに対して複数のサムネイルが作成されていること
   を特徴とするサムネイル作成方法。
2. 【請求項２】請求項１記載のサムネイル作成方法であっ
   て、前記動画像データ中の１フレームに対してデータ量
   の異なる複数のサムネイルが作成されていることを特徴
   とするサムネイル作成方法。
3. 【請求項３】請求項１記載のサムネイルの作成方法であ
   って、前記動画像データにおいてシーンチェンジを検出
   し、シーンチェンジ直後の画像に対応するフレームから
   サムネイルを自動的に作成することを特徴とするサムネ
   イル作成方法。
4. 【請求項４】請求項１記載のサムネイルの作成方法であ
   って、前記動画像データに対して、一定の時間間隔をお
   いてサムネイルを自動で作成することを特徴とするサム
   ネイル作成方法。
5. 【請求項５】複数のサムネイルを表示するサムネイル表
   示方法であって、サムネイルの管理情報に記録されてい
   るサムネイルの画像と動画像データの関連付けの情報に
   基づいてサムネイルの表示順番を決定し、前記表示順番
   によって前記サムネイルのコマ送り表示を行うことを特
   徴とするサムネイル表示方法。
6. 【請求項６】請求項５記載のサムネイル表示方法であっ
   て、動画像データに対するサムネイルを表示し終えた
   後、再び最初に表示したサムネイルからコマ送り表示を
   繰り返して行うことを特徴とするサムネイル表示方法。