JPH10243389A

JPH10243389A - 動画早見画像作成装置、動画早見画像作成方法および動画データ検索システム

Info

Publication number: JPH10243389A
Application number: JP3919097A
Authority: JP
Inventors: Takeo Tomokane; 武郎友兼; Tomohisa Kohiyama; 智久小檜山; Yasuyuki Kuwabara; 康幸桑原
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1997-02-24
Filing date: 1997-02-24
Publication date: 1998-09-11

Abstract

(57)【要約】【課題】クライアント装置で、ネットワーク上の動画デ
ータの内容を静止画にして表示することができ、動画デ
ータの検索を容易にする。【解決手段】クライアント装置３０１は、動画データか
ら静止画データへの作成要求を動画早見画像作成装置３
０３に出力する。動画早見画像作成装置３０３は、クラ
イアント装置３０１から早見が像作成要求を受け付け、
サーバ装置３０５から転送された動画データから、あら
かじめ定めた抽出規則に従って動画データのフレームを
抽出し、当該抽出したフレームについて、符号化された
静止画データを作成する。作成された静止画データをク
ライアント装置３０１に転送する。例えば、動画データ
の符号化方式にＭＰＥＧが使用され、出力する静止画デ
ータの符号化方式にＪＰＥＧを使う場合には、ＭＰＥＧ
のデータのＩピクチャのフレームを静止画データにする
ことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ある動画符号化方
式に基づいて符号化された動画データを伝送する際に、
動画検索の早見のために動画データを静止画データに変
換する機能を備える動画早見画像作成装置およびその装
置を用いたシステムに関するものである。

【０００２】

【従来の技術】一般に、データ量が膨大である動画デー
タをハードディスク等の蓄積媒体に蓄積（記録）した
り、インターネット等の通信回線を介して転送する場合
には、予め動画データを符号化してデータ量を削減す
る。国際的に標準化されている動画データの符号化方式
としては、ＭＰＥＧ（Motion Picture Experts Group）
がある。この符号化方式は、動き補償を含むフレーム間
予測符号化、ＤＣＴ(Discrete Cosine Transform：離散
的コサイン変換)、量子化およびハフマン符号化の処理
をベースとした、動画データのデータ圧縮方式である。
上記の技術は、例えば「最新ＭＰＥＧ教科書」（株式会
社アスキー）に詳述されている。

【０００３】また、近年、ＷＷＷ(World Wide Web)の出
現により、インターネットが広く普及してきた。ＷＷＷ
とは、ＷＷＷサーバが提供するハイパーテキストをＷＷ
Ｗクライアントがアクセスすることによって、ＷＷＷク
ライアントで静止画によるグラフィカルなインターフェ
ースや音声や動画の再生を可能にするサービスである。
これは、ＷＷＷサーバが提供するハイパーテキストに画
像データや音声データ等のマルチメディアデータをリン
クさせておくことによって実現される。そのリンクして
ある画像データの１つとして頻繁に使われる符号化方式
にＪＰＥＧ（Joint Photographic Experts Group）とＧ
ＩＦ（Graphical Interchange format）がある。このＪ
ＰＥＧは、自然画像データの符号化方式の国際標準であ
り、ＤＣＴ、量子化およびハフマン符号化の処理をベー
スとしている。また、ＧＩＦは、アメリカのパソコン通
信のＣｏｍｐＳｅｒｖが提唱した静止画符号化方式であ
り、ＬＺＷをベースとしている。上記の技術は、例えば
「Graphics File Format」（McGraw-Hill社）に詳述さ
れている。多くのＷＷＷクライアントは、このＪＰＥＧ
とＧＩＦとの静止画データを表示する機能を標準的に備
えている。

【０００４】図１０に、ＷＷＷクライアントがインター
ネットを介してＷＷＷサーバにアクセスするもっとも典
型的な構成例を示す。図１０において、２０１はＷＷＷ
クライアント、２０２はＩＳＤＮ回線やアナログ回線な
どの公衆回線、２０３はインターネットの接続サービス
を行うプロバイダ、２０４はインターネット、２０５は
ＷＷＷサーバである。

【０００５】ＷＷＷクライアント２０１がＷＷＷサーバ
２０５にアクセスを行うには、まず公衆回線を用いてプ
ロバイダ２０３にダイアルアップ接続をおこなう。この
接続後、ＷＷＷクライアント２０１は、公衆回線２０２
とインターネット２０４を介してＷＷＷサーバ２０５に
アクセスし、ＷＷＷサーバ２０５のハイパーテキストの
コンテンツを受信することができる。最近では、ＷＷＷ
サーバ２０５にＭＰＥＧのような動画データを記憶して
いる場合が多くなってきている。

【０００６】

【発明が解決しようとする課題】前述した静止画データ
のＪＰＥＧと比較すると、動画データであるＭＰＥＧの
データ量は膨大に大きい。たとえば、３５２×２４０画
素で１秒３０フレームのＭＰＥＧデータでは、１秒あた
り約１Ｍビットのデータ量になる。一般的に、ＷＷＷサ
ーバ２０１とプロバイダ２０３の間のネットワークのデ
ータ転送速度は、たとえば１．５Ｍｂｐｓ(ｂｐｓ：bit
s per second)のように高速である。しかし、公衆回線
ではアナログ回線で約３３Ｋｂｐｓ、ＩＳＤＮ回線でも
６４Ｋｂｐｓと比較的低速である。もし、ダイアルアッ
プユーザがＭＰＥＧのデータにアクセスすると、公衆回
線がボトルネックとなり、１秒分の動画データが届くの
に１５秒以上かかることになる。このため、ＭＰＥＧデ
ータの検索等で多くのＭＰＥＧデータをアクセスする場
合には、非常に時間がかかるという問題がある。

【０００７】そこで、本発明の課題は、動画データの内
容の検索が容易となるように、動画データ早見用の静止
画データを作成する動画早見画像作成装置、動画早見画
像作成方法およびそれを用いた動画データ検索システム
を提供することにある。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、符号化された動画データから、符号化さ
れた静止画データを作成する動画早見画像作成装置であ
って、前記動画データから前記静止画データの作成の要
求を受け付ける受付手段と、前記受付手段で前記要求を
受け付けたときに、前記符号化された動画データから、
前記符号化された静止画データを作成する作成手段と、
前記作成手段で作成された、符号化された静止画データ
を転送する転送手段とを備える。また、前記作成手段
は、前記符号化された静止画データを作成するときに、
前記符号化された動画データから、あらかじめ定めた抽
出規則に従って動画データのフレームを抽出し、当該抽
出したフレームについて、前記符号化された静止画デー
タを作成する。

【０００９】また、前記動画データを受信する受信手段
をさらに備え、前記作成手段は、前記静止画データに作
成において、前記受信手段で受信された動画データを用
いることができる。または、前記動画データを記憶する
記憶手段をさらに備え、前記作成手段は、前記静止画デ
ータに作成において、前記記憶手段で記憶されている動
画データを用いることができる。

【００１０】また、転送手段は、ネットワークを介し
て、クライアント装置に転送してもよいし、ディスプレ
イやプリンタなどの周辺機器に転送するようにしてもよ
い。

【００１１】また、作成手段は、例えば、前記動画デー
タの、動画表示順序で並べた場合の複数のフレームか
ら、あらかじめ定めたフレーム数ごとに１フレームを抽
出し、当該抽出した１フレームの各々について、前記符
号化された静止画データを作成するようにしてもよい。
また、前記作成手段は、前記抽出したフレームの静止画
データをあらかじめ定めた圧縮率で圧縮し、当該圧縮し
た各静止画データを、１フレーム分の符号化された静止
画データに変換するようしてもよい。

【００１２】本発明によれば、動画データ早見用の静止
画データを作成することができ、動画データの内容の検
索が容易となる。

【００１３】また、前記作成手段は、前記動画データを
表示させた場合の時間系列にしたがって並べた場合の複
数のフレームから、前記転送手段における転送速度と、
前記１フレーム分の静止画データのデータ量とに応じて
定まる前記静止画データの１フレーム分の転送時間ごと
に、前記静止画データの１フレーム分に対応する動画デ
ータのフレームを抽出し、当該抽出したフレームの各々
について、前記符号化された静止画データを作成するこ
とにより、動画データを表示した場合のフレームの時間
系列に同期させて静止画を見ることが可能となる。

【００１４】

【発明の実施の形態】本発明の実施の形態を図面を参照
して説明する。

【００１５】第１の実施の形態において、動画データか
ら早見用静止画データを作成する動画データ検索システ
ムは、例えば、図１に示すようなシステム構成によって
実現される。図１において、動画データ検索システム
は、動画データの早見画像を要求するクライアント装置
３０１と、動画の早見用画像データを作成する動画早見
画像作成装置３０３と、動画データを供給するサーバ装
置３０５とを備え、各々は、公衆回線やＬＡＮやインタ
ーネットまたはそれらを複数種含むような通信網３０
２、３０４により接続される。動画早見画像作成装置３
０３の詳細は後述する。

【００１６】図１において、一般的に、通信網３０２の
データ転送能力（速度）は、通信網３０４のデータ転送
能力より遅い。このため、動画データを早見したいとい
うユーザの要求が起きる。本発明の第１の実施の形態で
は、動画早見画像作成装置３０３において、このような
要求を受け付けて、動画データから静止画データを作成
し、作成した静止画データをクライアント装置３０１に
転送する。

【００１７】つぎに、本発明の第１の実施の形態の動画
データ検索システムにおけるシーケンスを図２を参照し
て説明する。図２は、動画データ検索システムにおける
要求・データの処理手順を表した説明図である。図２に
おいては、下方向に時間軸をとっている。図２におい
て、処理１０１および１０９は、クライアント装置３０
１における処理を示し、データ１０２および１０８は、
通信網３０２上で伝送されるデータを示し、処理１０
３、１０７および１１０は、動画早見画像作成装置３０
３における処理を示し、データ１０４および１０６は、
通信網３０４上で伝送されるデータを示す。また、ここ
で用いる動画早見画像作成装置３０３の動画早見画像作
成１０７の処理の詳細は後述する。

【００１８】以下、図１および図２を参照して、手順を
説明する。

【００１９】まず、クライアント装置３０１は、サーバ
装置３０５の動画データの検索等の要求時に、ユーザか
ら動画データの早見の要求（処理１０１）を受け付ける
と、早見要求データ１０２を動画早見画像作成装置３０
３に送信する。この早見要求データ１０２には、動画デ
ータの早見の要求である旨を示す情報、動画データが記
憶されているサーバ装置３０５の識別情報や、動画デー
タの名前などのサーバ装置３０５の動画データにアクセ
ス可能な情報を含む。また、早見要求データ１０２に
は、早見画像の作成方法の種類が複数ある場合にはその
作成方法の指定などの必要な情報を含んでもよい。この
作成方法の種類を示す情報を早見要求データ１０２に含
まない場合は、動画早見画像作成装置３０３があらかじ
め定めた作成方法を選択してもよい。

【００２０】早見画像の作成方法の種類としては、例え
ば、指定した動画データの先頭フレーム１枚を早見画像
とする場合、先頭フレームから１秒おきに４フレームを
抜き出し、それをあらかじめ定めた静止画符号化フォー
マットにしたがって１枚の静止画データ（１フレーム分
の静止画データ）として送る場合などをあらかじめ定め
ておくことができる。このように、あらかじめ定めた抽
出規則に従って動画データのフレームを抽出し、抽出し
たフレームについて前記符号化された静止画データを作
成する。

【００２１】また、複数枚のフレームを用いて表示画面
上１枚の早見画像を作成する場合は、３〜６枚のフレー
ムが望ましい。また、例えば、先頭フレームから最終フ
レームまでの間のフレームを等間隔（あらかじめ定めた
フレーム数ごと）に、あらかじめ定めた枚数のフレーム
を抽出し、抽出したフレームをそれぞれ静止画データに
変換する方法でもよい。

【００２２】また、動画データのフレーム間のシーン
（場面）が変化したことを検出するシーンチェンジ検出
機能を備えて、この機能により、シーンが変化したとき
のフレームを抜き出し、抜き出したフレームを静止画デ
ータに変換する方法でもよい。シーンチェンジ検出機能
は、例えば、動画表示順序で並べた各フレームごとに色
ヒストグラムを算出し、隣接するフレーム間の色ヒスト
グラムの各々の位置における差分の総和があらかじめ定
めた閾値以上の場合には、シーンが変化したとして、隣
接する２つのフレームのうち時間的に後のフレームを抽
出する。これにより、色ヒストグラムが急激に変化する
場合を、シーンの変化として検出することができる。

【００２３】また、動画早見画像作成装置３０３があら
かじめ定めた作成方法を選択する場合には、前述した作
成方法のうちの一つをあらかじめ定めておくほかに、作
成方法を、通信網３０２のデータ転送能力に応じて決め
るようにしてもよい。これは、通信網３０４のデータ転
送時間が通信網３０２のデータ転送速度より十分に速い
ときに有効である。例えば、動画データが３５２（画
素）×２４０（画素）×３（ＲＧＢ３色）＝約２５３Ｋ
ｂｙｔｅの画像サイズで、静止画データをＪＰＥＧで符
号化し、通信網３０２が３３．６Ｋｂｐｓのデータ転送
能力があったとする。ＪＰＥＧの圧縮率は、一般的に原
画像に対して約２０分の１といわれているので、この場
合、静止画データの画像サイズは１２Ｋｂｙｔｅとな
り、約１００Ｋビットになる。この場合、３３．６Ｋｂ
ｐｓで１００Ｋビットの静止画データを転送すると、転
送時間に約３秒かかる。このため、動画データから３秒
ごとに１枚の静止画を作成して転送すれば、クライアン
トでは動画データのフレームの時間系列に近い形で静止
画をみることが可能となる。

【００２４】また、例えば、動画データのビットレート
が約１．２Ｍｂｐｓで、３５２（画素）×２４０（画
素）の画像サイズで、静止画データがＪＰＥＧで符号化
し、通信網３０４が４００Ｋｂｐｓ、通信網３０２が３
３．６Ｋｂｐｓのデータ転送能力があったとする。この
場合、サーバ装置３０５から通信網３０４を介して動画
早見画像作成装置３０３に４００Ｋｂｐｓで動画データ
が転送されると、１秒分の１．２Ｍビットの動画データ
が届くのに約３秒かかる。また、前述の例と同様に、Ｊ
ＰＥＧで圧縮すると、静止画データの画像サイズは約１
００Ｋビットになるので、１枚の静止画データを転送す
るのに約３秒かかる。よって、動画データの１秒分のデ
ータから１フレームを抽出し、静止画データを作成して
転送すれば、動画データがサーバ装置３０５から転送さ
れてくる時間に対してリアルタイムでクライアント装置
３０１では早見ができる。もし、通信網３０２や通信網
３０４のデータ転送能力が、インターネット等のネット
ワークなどのように、ダイナミックに変化するときは、
データの転送速度を監視する機能を設けておき、データ
転送速度にあわせて抽出するフレーム数や、抽出時間間
隔を変更させたりして選択方法を変えてもよい。

【００２５】図２において、動画早見画像作成装置３０
３は、この早見要求データ１０２を受け、この要求をサ
ーバ装置３０５への動画データの送信要求に変換し（処
理１０３）、指定されたサーバ装置３０５に対して、動
画データの名前を指定して動画データの送信を要求する
ための動画データ要求１０４を送信する。

【００２６】サーバ装置３０５では、動画データ要求１
０４を受け、動画早見画像作成装置３０３と動画データ
転送のためのコネクションをはり、その要求に合致し
た、符号化された動画データを転送する（処理１０
５）。転送された動画データ１０６は、要求などに比べ
ると膨大にデータ量が多いため、すべて転送するのにネ
ットワーク３０４のデータ転送能力に応じてある程度時
間がかかる。

【００２７】動画早見画像作成装置３０３は、動画デー
タ１０６を受け始めると、すでに受けたデータから、指
定された早見画像の作成方法にしたがって、フレームの
符号化データを抜き出し、動画早見画像の作成をおこな
う（処理１０４）。早見画像の作成方法が早見要求デー
タ１０２で指定されていない場合は、動画早見画像作成
装置３０３であらかじめ定めた作成方法に従う。

【００２８】動画早見画像作成装置３０３は、その作成
した静止画データ１０８をクライアント装置３０１へ転
送する。また、静止画データ１０８の作成が終了したと
きに、動画データ１０６を転送しているサーバ装置３０
５と動画早見画像作成装置３０３とのコネクションを切
断する（処理１１０）。動画早見画像作成装置３０３
が、動画データをキャッシングする保持機能を備えてい
る場合は、静止画データ１０８の作成が終了しても、す
べての動画データを受信してキャッシングするまで、処
理１１０のコネクションを切断する処理をおこなわない
ようにしてもよい。

【００２９】クライアント装置３０１では、静止画デー
タ１０８を受信すると、静止画データ１０８をディスプ
レイなどに表示する。静止画データ１０８が複数枚ある
場合には、受信し終わった分の静止画データ１０８から
順次表示することができる。これによって、ユーザは動
画データの早見ができる（処理１０９）。その静止画デ
ータ１０８に複数のフレームを含む場合は、その静止画
データ１０８のフォーマットによって見えかたが異な
る。例えば、ＧＩＦやＭｏｔｉｏｎ−ＪＰＥＧ等の静止
画の符号化のフォーマットの場合には、１データ単位に
対して複数枚の静止画データが格納できるので、その複
数枚の静止画データの各々を同一のディスプレイ領域に
１枚ずつ順次表示することによって、動画のように見せ
ることができる。また、例えば、ＧＩＦ等の静止画の符
号化のフォーマットの場合に、１データ単位に対して４
枚の静止画データが格納されているときには、図３で示
すように、４枚の静止画データを一つの表示画面上に配
置して表示することができる。また、例えば、ＪＰＥＧ
等の静止画の符号化のフォーマットの場合には、図４に
示すように、表示画面上に、４つの静止画を縦にならべ
て表示させるようにしてもよい。この場合、受信した順
に表示画面上の上部から順に静止画を表示するように並
べることができる。

【００３０】つぎに、動画早見画像作成装置３０３の構
成について説明する。図５に動画早見画像作成装置３０
３の構成例を示す。図５において、動画早見画像作成装
置３０３は、プログラムに従って所定の処理を行うＣＰ
Ｕ８０１と、データや制御などを受け渡すためのバス８
０２と、プログラムやデータ等を記憶するハードディス
ク、フロッピー、ＣＤ−ＲＯＭやＭＯなどの記憶装置８
０３と、プログラムやデータを貯えるメモリ等の主記憶
装置８０４と、ネットワークボードやモデム等の通信制
御装置８０５とを備える。上記各構成要素は、互いに情
報伝達が可能なように、バス８０２にて接続されてい
る。また、動画早見画像作成装置３０３は、電話回線や
ＬＡＮのような通信網８０６を介して、この通信網８０
６につながる他の装置と、データやプログラムを送受信
できるものとする。この通信網８０６は、図１に示す通
信網３０２または３０４に相当する。通信制御装置８０
５を複数備えるようにしてもよい。また、動画早見画像
作成装置３０３は、ディスプレイやプリンタなどの出力
部をさらに備えることができ、作成された静止画データ
を出力部から出力するようにしてもよい。

【００３１】なお、記憶装置８０３、主記憶装置８０４
および通信制御装置８０５は、動画早見画像作成装置３
０３のＣＰＵ８０１で実行されるプログラムに従って制
御される。

【００３２】図５において、動画早見画像を作成するた
めのプログラムと、処理対象となる動画データとは、通
信網８０６を介して他の装置から送出され、動画早見画
像作成装置３０３において受信される。また、これらの
プログラムや動画データは、記憶装置８０３もしくは記
憶媒体に記憶させておき、必要なときに読み出されるよ
うにしてもよい。また、作成された静止画データは、記
憶装置８０３に格納される。または、作成された静止画
データは、通信網８０６を介して、クライアント装置３
０１などの他の装置に送出される。また、通信制御制御
装置８０５と通信網８０６とは、各々２つ以上あっても
よい。２つ以上備える場合には、入力専用と出力専用と
の通信制御制御装置８０５を設けてもよい。

【００３３】また、動画データが通信制御装置８０５に
入力されはじめたら、動画早見画像作成装置３０３で
は、入力された動画データから順次符号化した静止画デ
ータを作成し、できた静止画データを通信制御装置８０
５から順次転送するようにパイプライン的に動作するこ
とができる。

【００３４】次に、図５に示すような動画早見画像作成
装置上で動作する動画早見画像作成処理のプログラムの
フローチャートについて詳しく説明する。図６に、動画
早見画像作成処理のプログラムのフローチャートを示
す。図６に示すフローチャートでは、入力される動画デ
ータの符号化方式と、出力する静止画データの符号化方
式とは、あらかじめ定めた方式によるものとし、様々な
方式に適用することができる。

【００３５】図６において、クライアント装置３０１か
ら早見要求データ１０２が出力されると、通信網８０６
を通じて通信制御装置８０５で早見要求データ１０２を
受け付ける（ステップ９０１）。動画早見画像作成装置
３０３は、早見要求データ１０２の内容を解読し、動画
データの早見要求と、動画データの名前などの識別情報
と、その動画データを保有するサーバ装置の識別情報
と、指定された早見画像作成方法とを認識する。動画デ
ータの識別情報をもとにして動画データ要求１０４を作
成し、動画データを保有するサーバ装置３０５に対し
て、通信網８０６を介して動画データ要求１０４を出力
する（ステップ９０２）。

【００３６】サーバ装置３０５は、動画データの要求に
応じて、通信網８０６通じてデータ転送のためのコネク
ションを動画早見画像作成装置３０３とはり、動画デー
タの転送をはじめる。動画早見画像作成装置３０３で
は、動画データ転送が始まったら、その動画データを受
け、主記憶装置８０４もしくは記憶装置８０３に貯えは
じめる（ステップ９０３）その後、動画データの受信を
つづけながら、以下に示すような処理を実行する。

【００３７】すでに送られた動画データから画像のサイ
ズを読み込み、その動画データのサイズと指定された早
見画像作成方法とにしたがって静止画のサイズを決定
し、そのサイズ情報をクライアントに出力する（ステッ
プ９０４）。例えば、動画の画像のサイズが３５２（画
素）×２４０（画素）であったとする。動画の１フレー
ムのみから静止画を作成するときは、静止画のサイズを
３５２（画素）×２４０（画素）とし、また、動画デー
タから４フレームを抜き出して図３に示すように表示さ
せるために静止画のサイズを７０４（画素）×４８０
（画素）とし、また、図４に示すように表示させるため
に静止画のサイズを３５２（画素）×９６０（画素）と
する。このサイズの情報を、あらかじめ定めた静止画デ
ータのフレームフォーマットにヘッダとともに格納し、
それをクライアント装置３０１に出力する。また、後述
する、符号化によって作成された静止画データは、ヘッ
ダが付加されて１つの静止画データとして転送される。

【００３８】次に、動画データ１０６を貯えながら、す
でに貯えられた動画データ１６３から、指定された選択
方法に従ったフレームを抽出するために、そのフレーム
の符号化データを検索する（ステップ９０５）。抽出フ
レームは、前述したように、動画早見画像作成装置３０
３であらかじめ定めた方法で決めてもよいし、早見要求
データ１０２により指定されたものであってもよい。も
し、まだ抽出すべきフレームの動画データを受信してい
ない場合は、そのフレームを受信するまで処理はおこな
わない。

【００３９】次に、符号化された動画データから検索し
て抽出したフレームを、復号化し（ステップ９０６）、
その復号化した画像をあらかじめ定めた静止画の符号化
方式で再び符号化する（ステップ９０７）。そして、そ
の符号化した静止画データをクライアント装置３０１へ
通信網８０６を経由して転送しはじめる（ステップ９０
８）。もし、複数枚のフレームを１枚の静止画にするの
であれば、そのフレーム分の符号化が終了するまで処理
を繰り返す（ステップ９０９）。終了したならば、サー
バ装置３０５から動画データを転送してくるコネクショ
ンを切断し、動画データの転送を中断する（ステップ９
１０）。

【００４０】もし、動画データを主記憶装置８０４や記
憶装置８０３にキャッシングするのであれば、ステップ
９１０は必要がない。また、すでに動画データをキャッ
シングしている等で動画早見画像作成装置３０３が動画
データを貯えている場合は、ステップ９０２、９０３お
よび９１０の処理は不要である。その場合は、動画デー
タを貯えているメモリ８０４や記憶装置８０３等から動
画データを読み込み、ステップ９０４から９０９の処理
を行えばよい。

【００４１】また、クライアント装置３０１では、通信
網８０６を経由して転送された、動画データの早見画像
を受信し、静止画としてディスプレイ等に表示すること
ができる。

【００４２】以上説明したように処理することによっ
て、動画早見画像作成装置３０３は、動画データから静
止画データを作成し、それを転送することにより、クラ
イアント装置３０１は動画データの早見画像を静止画で
表示することができる。

【００４３】つぎに、本発明の第２の実施形態について
説明する。第２の実施形態は、第１の実施形態と同様な
構成であるが、動画早見画像作成装置の処理の流れが異
なる。第２の実施形態における動画早見画像作成装置の
処理の流れのフローチャートを図７に示す。このフロー
チャートでは、動画データの符号化方式にＭＰＥＧが使
用され、出力する静止画データの符号化方式にＪＰＥＧ
を使うものとし、ＭＰＥＧのデータの中で静止画データ
にするフレームをＩピクチャに限るものとする。Ｉピク
チャとは、他のフレームがない場合でも復号化すること
ができるフレームであり、ＭＰＥＧの場合は通常１２〜
１５フレームに１枚ある。これに対して他のフレームか
らの予測で符号化したフレームにＰピクチャ、Ｂピクチ
ャとよばれ、これらのフレームは、そのフレーム符号化
データだけでは復号化することができない。Ｉピクチャ
の復号化の手順は、ハフマン復号化、逆量子化、逆ＤＣ
Ｔである。一方、ＪＰＥＧの符号化の手順は、ＤＣＴ、
量子化、ハフマン符号化である。この第２の実施形態で
は、ＭＰＥＧの復号化の逆ＤＣＴと、ＪＰＥＧ符号化の
ＤＣＴとを省略して静止画データの符号化を行う。図７
に示すフローチャートにおいて、図６に示すフローチャ
ートと同符号のステップについては、特に説明がないか
ぎり図６における動作と同様に動作するものとする。

【００４４】図７において、ステップ９０３までは図６
と同様に処理する。

【００４５】ステップ９０４において、ＪＰＥＧデータ
の場合は、出力する静止画データのヘッダ情報として、
サイズの他に、量子化テーブルおよびハフマンテーブル
等の復号化に必要な情報を含む。それらのテーブルはあ
らかじめ用意したテーブルを用いる。このＪＰＥＧの場
合の画像サイズは、図４に示すように縦にフレームを並
べたときの画像サイズにするのが望ましい。

【００４６】次に、貯えられたＭＰＥＧの動画データか
らＩピクチャを検索する（ステップ１００１）。ＭＰＥ
ＧのデータストリームからＩピクチャのフレームを見つ
けるには、符号化したフレームの先頭をあらわす４バイ
トのユニークなコードを検索し、そのコードのあとにピ
クチャタイプの情報がかかれているので、それをみるこ
とによってそのフレームがＩピクチャであるか否かが判
断できる。ＭＰＥＧの場合は、１秒３０フレームで、１
５フレームに１枚のＩピクチャがあることが多い。よっ
て、たとえば１秒おきに４フレームを静止画にする場合
は、Ｉピクチャを順次抽出すればよい。また、抜き出し
たい箇所にＩピクチャがない場合は、一番近いＩピクチ
ャ等で代用してもよい。

【００４７】次に、そのＩピクチャをＭＰＥＧで規定さ
れているハフマンテーブルに従って、ハフマン復号化す
る（ステップ１００２）。

【００４８】次に、ハフマン復号化が終わったデータに
対して逆量子化をおこなう（ステップ１００３）。この
とき、逆量子化に用いる量子化テーブルと量子化特性値
は、ＭＰＥＧのストリーム内で定義されているものを使
用する。そのとき、量子化テーブルが定義されていない
場合はデフォルトの量子化テーブルを用いる。

【００４９】次に、今度はＪＰＥＧの量子化をおこなう
（ステップ１００４）。このときの量子化テーブルはあ
らかじめ定めておく。ここで用いられた量子化テーブル
は、ヘッダ情報に付加されてクライアント装置３０１に
転送される。

【００５０】最後に、ＪＰＥＧのハフマン符号化をおこ
なう（ステップ９０５）。このときのハフマンテーブル
はあらかじめ定めておく。ここで用いられたハフマンテ
ーブルは、ヘッダ情報に付加されてクライアント装置３
０１に転送される。

【００５１】図７に示す処理において、もしＭＰＥＧデ
ータの抜き出すフレームの使用している量子化テーブル
が決まっており、ステップ９０４の処理の前にそのテー
ブルがわかる場合は、ＪＰＥＧの量子化テーブルをＭＰ
ＥＧの量子化テーブルに一致させることにより、ステッ
プ１００３および１００４を省くこともできる。

【００５２】以上説明したように、第２の実施の形態に
よれば、動画データと静止画データとの符号化で共通す
る部分については、動画データを復号化せずに、そのま
ま静止画データとして利用することができる。

【００５３】つぎに、第３の実施の形態について説明す
る。第３の実施の形態では、動画データ検索システムの
構成が第１および第２の実施の形態と異なる。第３の実
施の形態における動画データ検索システムの構成例を図
８に示す。図８において、３０１、３０２および３０３
は、図１に示す同符号のものと同じ機能を備える。この
構成においては、クライアント装置３０１が要求する動
画データは、動画早見画像作成装置３０３が蓄積してい
るものとする。第３の実施の形態では、動画早見画像作
成装置３０３が動画データを保持し、サーバ装置３０５
の役割もになう場合について説明する。

【００５４】以下の第３の実施の形態を、この図８に示
すシステム構成例をもとに説明する。第３の実施の形態
の動画データ検索システムにおけるシーケンスを図９に
示す。また、第１の実施の形態のシステム構成におい
て、動画早見画像作成装置３０３がキャッシングの機能
をもち、すでにサーバ装置３０５の動画データをキャッ
シングしている場合も、図９に従って処理を行うことが
できる。図９において、図２と同符号のものは、それぞ
れ、同様の処理、データまたは要求を示すものとし、こ
こでは簡単に説明する。以下、手順を説明する。

【００５５】まず、クライアント装置３０１が動画デー
タの早見要求を受け付けると（処理１０１）、クライア
ント装置３０１から動画早見画像作成装置３０３へ早見
要求データ１０２を送出する。動画早見画像作成装置３
０３は、この早見要求データ１０２を解読し（処理７０
１）、この早見要求データ１０２により要求された動画
データを動画早見画像作成装置３０３がすでに保有して
いる場合には、第１の実施の形態と同様に、動画早見画
像を作成し（処理１０５）、静止画データ１０８をクラ
イアント装置３０１に転送する。その転送した静止画デ
ータをクライアント装置３０１で表示することによって
早見ができる。

【００５６】また、動画早見画像作成装置３０３がキャ
ッシングの機能を備える場合に、早見要求で要求された
動画データを、動画早見画像作成装置３０３がキャッシ
ングしてすでに保有している場合は、オリジナルのデー
タが更新されていないかをサーバ装置３０５に確認をお
こなってもよい。更新されているばあいは、更新された
データを受信して第１の実施の形態と同様の処理を行
う。

【００５７】以上、説明したように処理することによっ
て、クライアント装置３０１は動画データの早見画像を
静止画でみることができる。

【００５８】本発明の第１および第２の実施の形態によ
れば、動画データをサーバ装置３０５からクライアント
装置３０１へ転送する間の通信網において、データ転送
能力が低くなる通信網の手前に動画早見画像作成装置３
０３を設置すれば、クライアント装置３０１は動画早見
動画作成装置３０３から送られていくる静止画データに
よって高速に動画データの早見を行うことができる。ま
た、早見画像を作成した動画早見画像作成装置３０３
が、サーバ３０５との動画データ転送のためのコネクシ
ョンを切断することによって、通信網内のデータ総量を
軽減することもできる。

【００５９】また、本発明の各実施の形態によれば、動
画データのフレームを複数枚を、１つの静止画データと
して早見を行うことによって、動画データの動きがわか
る早見ができる。特にＪＰＥＧのように１つの静止画デ
ータで表示するときに、静止画データを縦にフレームを
並べて表示することによって、クライアント装置３０１
では時間系列順に逐次的に表示ができる。このときのク
ライアント装置３０１につながる通信網は、伝送容量の
少ない静止画データを転送することができるので、動画
データをそのまま伝送するより、効率よく伝送すること
ができる。

【００６０】

【発明の効果】本発明によれば、動画早見画像作成装置
において、動画データ早見用の静止画データを作成し、
転送することができる。また、クライアント装置では、
ネットワーク上の動画データの内容を静止画にして表示
することができ、動画データの検索を容易にすることが
できる。

【図面の簡単な説明】

【図１】第１の実施形態の動画データ検索システムの構
成図。

【図２】第１の実施形態における動画データ検索システ
ムの処理手順例を示す説明図。

【図３】クライアントの静止画データ表示例を示す説明
図。

【図４】クライアントの静止画データ表示例を示す説明
図。

【図５】第１の実施形態の動画早見画像作成装置の構成
図。

【図６】第１の実施形態における動画早見画像作成装置
の処理手順例を示すフローチャート。

【図７】第２の実施形態における動画早見画像作成装置
の処理手順例を示すフローチャート。

【図８】第３の実施形態における動画早見画像作成装置
の構成図。

【図９】第３の実施形態における動画データ検索システ
ムの処理手順例を示す説明図。

【図１０】ダイアルアップによるＷＷＷサーバのアクセ
ス例を示す構成図。

【符号の説明】

２０１・・・ＷＷＷクライアント２０２・・・公衆回線２０３・・・プロバイダ２０４・・・インターネット２０５・・・ＷＷＷサーバ３０１・・・クライアント装置３０２、３０４・・・通信網３０３・・・動画早見画像作成装置３０５・・・サーバ装置８０１・・・ＣＰＵ８０２・・・バス８０３・・・記憶装置８０４・・・主記憶装置８０５・・・通信制御装置８０６・・・通信網。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＨ０４Ｎ 7/173 Ｈ０４Ｎ 5/93 Ｃ

Claims

【特許請求の範囲】

【請求項１】符号化された動画データから、符号化され
た静止画データを作成する動画早見画像作成装置であっ
て、前記動画データから前記静止画データの作成の要求を受
け付ける受付手段と、前記受付手段で前記要求を受け付けたときに、前記符号
化された動画データから、前記符号化された静止画デー
タを作成する作成手段と、前記作成手段で作成された、符号化された静止画データ
を転送する転送手段とを備えることを特徴とする動画早
見画像作成装置。
【請求項２】請求項１において、前記作成手段は、前記
符号化された静止画データを作成するときに、前記符号
化された動画データから、あらかじめ定めた抽出規則に
従って動画データのフレームを抽出し、当該抽出したフ
レームについて、前記符号化された静止画データを作成
することを特徴とする動画早見画像作成装置。
【請求項３】請求項２において、前記作成手段は、前記
抽出規則を複数規定し、前記受付手段は、前記複数のあらかじめ定めた抽出規則
のうちの一つの抽出規則の指定をさらに受け付け、前記作成手段は、前記受け付け手段で受け付けられた指
定された抽出規則にしたがって前記作成を行うことを特
徴とする動画早見画像作成装置。
【請求項４】請求項１において、前記動画データを受信
する受信手段をさらに備え、前記作成手段は、前記静止画データの作成において、前
記受信手段で受信された動画データを用いることを特徴
とする動画早見画像作成装置。
【請求項５】請求項１において、前記動画データを記憶
する記憶手段をさらに備え、前記作成手段は、前記静止画データの作成において、前
記記憶手段で記憶されている動画データを用いることを
特徴とする動画早見画像作成装置。
【請求項６】請求項２において、前記作成手段は、前記
あらかじめ定めた抽出規則として、前記動画データの、
動画表示順序で並べた場合の複数のフレームから、あら
かじめ定めたフレーム数ごとに１フレームを抽出するこ
とを特徴とする動画早見画像作成装置。
【請求項７】請求項２において、前記作成手段は、前記
あらかじめ定めた抽出規則で抽出するときに、抽出する
フレーム数をあらかじめ定めておくことを特徴とする動
画早見画像作成装置。
【請求項８】請求項２において、前記作成手段は、前記
抽出したフレームの静止画データをあらかじめ定めた圧
縮率で圧縮し、当該圧縮した各静止画データを、１フレ
ーム分の符号化された静止画データに変換することを特
徴とする動画早見画像作成装置。
【請求項９】請求項２において、前記作成手段は、前記
動画データの複数のフレームから、前記フレーム間でシ
ーンが変化したフレームを抽出し、当該抽出したフレー
ムの各々について、前記符号化された静止画データを作
成することを特徴とする動画早見画像作成装置。
【請求項１０】請求項２において、前記作成手段は、前
記動画データの符号化方式にＭＰＥＧ（Motion Picture
Experts Group）が使用され、前記静止画データの符号
化方式にＪＰＥＧ（Joint Photographic Experts Grou
p）を使用する場合には、ＭＰＥＧのデータのＩピクチ
ャのフレームを抽出し、当該抽出したフレームの各々に
ついて、前記符号化された静止画データを作成すること
を特徴とする動画早見画像作成装置。
【請求項１１】請求項２において、前記作成手段は、前
記動画データを表示させた場合の時間系列にしたがって
並べた場合の複数のフレームから、前記転送手段におけ
る転送速度と、前記１フレーム分の静止画データのデー
タ量とに応じて定まる前記静止画データの１フレーム分
の転送時間ごとに、前記静止画データの１フレーム分に
対応する動画データのフレームを抽出し、当該抽出した
フレームの各々について、前記符号化された静止画デー
タを作成することを特徴とする動画早見画像作成装置。
【請求項１２】請求項６、７、８、９、１０または１１
において、前記作成手段は、前記抽出したフレームの、
前記符号化された動画データを復号化し、当該復号化さ
れた動画データを、あらかじめ定めた静止画データの符
号化方法により符号化することにより前記静止画データ
の作成を行うことを特徴とする動画早見画像作成装置。
【請求項１３】請求項６、７、８、９、１０または１１
において、前記作成手段は、前記抽出したフレームの、
あらかじめ定められた直交変換と量子化とハフマン符号
化とにより符号化された動画データを復号化し、当該復
号化された動画データを、あらかじめ定めた静止画デー
タの直交変換と量子化とハフマン符号化とにより符号化
することにより前記静止画データの作成を行うことを特
徴とする動画早見画像作成装置。
【請求項１４】請求項６、７、８、９、１０または１１
において、前記作成手段は、前記抽出したフレームの、
あらかじめ定められた直交変換と量子化とハフマン符号
化とにより符号化された動画データにハフマン復号化と
逆量子化とを施した結果から、あらかじめ定めた静止画
データの符号化方法によるあらかじめ定められた量子化
とハフマン符号化とを施すことにより静止画データを作
成することを特徴とする動画早見画像作成装置。
【請求項１５】請求項６、７、８、９、１０または１１
において、前記作成手段は、前記抽出したフレームの、
あらかじめ定められた直交変換と量子化とハフマン符号
化とにより符号化された動画データについて、ハフマン
復号化を施した結果から、あらかじめ定めた静止画デー
タのハフマン符号化を施すことにより静止画データを作
成することを特徴とする動画早見画像作成装置。
【請求項１６】動画データから静止画データを作成する
装置における動画早見画像作成方法であって、前記動画データから前記静止画データの作成の要求を受
け付けるステップと、前記要求を受け付けたときに、前記符号化された動画デ
ータから、あらかじめ定めた抽出規則に従って動画デー
タのフレームを抽出するステップと、当該抽出したフレームについて、前記符号化された静止
画データを作成するステップと、当該作成された静止画データを転送するステップとを有
することを特徴とする動画早見画像作成方法。
【請求項１７】請求項１６に記載の各ステップをコンピ
ュータにより実現するためのプログラムを記憶すること
を特徴とする記憶媒体。
【請求項１８】動画データを蓄積するサーバ装置と、静
止画データを表示する機能を有するクライアント装置
と、前記サーバ装置および前記クライアント装置に通信
回線を介して接続される中継装置とを有する動画データ
検索システムにおいて、前記クライアント装置は、前記動画データから前記静止
画データの作成の要求を出力する手段を備え、前記中継装置は、前記クライアント装置から前記要求を
受け付ける受付手段と、前記受付手段で前記要求を受け
付けたときに、前記符号化された動画データから、あら
かじめ定めた抽出規則に従って動画データのフレームを
抽出し、当該抽出したフレームについて、前記符号化さ
れた静止画データを作成する作成手段と、前記作成手段
で作成された静止画データを前記クライアント装置に転
送する転送手段とを備えることを特徴とする動画データ
検索システム。