JPH09139915A - 圧縮動画像復号・表示装置および圧縮動画像簡易編集装置 - Google Patents

圧縮動画像復号・表示装置および圧縮動画像簡易編集装置

Info

Publication number
JPH09139915A
JPH09139915A JP29804895A JP29804895A JPH09139915A JP H09139915 A JPH09139915 A JP H09139915A JP 29804895 A JP29804895 A JP 29804895A JP 29804895 A JP29804895 A JP 29804895A JP H09139915 A JPH09139915 A JP H09139915A
Authority
JP
Japan
Prior art keywords
stream
moving image
decoding
code
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP29804895A
Other languages
English (en)
Other versions
JP3060919B2 (ja
Inventor
Koji Taniguchi
幸治 谷口
Yasuhiro Kikuchi
康弘 菊池
Shin Yamada
伸 山田
Katsuhiro Kanamori
克洋 金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP29804895A priority Critical patent/JP3060919B2/ja
Publication of JPH09139915A publication Critical patent/JPH09139915A/ja
Application granted granted Critical
Publication of JP3060919B2 publication Critical patent/JP3060919B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 フレーム間予測符号化方式の圧縮動画像スト
リームの復号・表示装置において、任意指定フレームか
らの高速頭出し再生方法を提供すること、及び圧縮動画
像ストリームの簡易的な編集方法を提供することを目的
とする。 【解決手段】 デコード情報読み取り部402は、頭出
し再生用テーブルファイルを利用して、再生区間記憶手
段401に記憶されている再生開始フレーム番号のフレ
ームを含んでいるGOPのストリーム中の位置とそのG
OP直前までの累積フレーム数を求め、この情報はデコ
ード情報記憶手段406に記憶される。ストリーム送出
手段407は、この情報に基づき、ストリームをシーク
した後に、ビデオ復号手段408にストリームを送出
し、ビデオ復号手段408がストリームの復号を行な
い、再生開始フレームに到達したら表示を開始する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、蓄積ディジタル圧
縮動画像データの内容を高速に検索・閲覧するための圧
縮動画像復号・再生装置、および、蓄積ディジタル圧縮
動画像データを容易に、かつ、無駄なく検索・閲覧する
方法を提供するための圧縮動画像簡易編集装置に関する
ものである。
【0002】
【従来の技術】画像圧縮アルゴリズム・ハードウェアの
向上、記憶装置の大容量・高速化と共に、動画像情報を
容易に取り扱える環境の整備が望まれるようになってき
た。動画像情報は、データ量が膨大であり、すべての情
報を閲覧・検索するためには、その動画像情報の記録時
間と等しい時間を要するため、動画像データベースをユ
ーザに提供する場合には、併せて、適切な検索・閲覧手
段を提供することも必要となる。
【0003】動画像の内容を検索方法の一つとして、特
開平2−113790号公報の動画像検索方法がある。
これは、動画像情報を検索する方法において各検索画像
単位毎に検索画像の特徴をあらわす動画像情報の部分を
シーンとして抽出し、シーンを集めたものをメニュー画
像として編集し、メニュー画像から目的の検索画像を検
索ことを特徴とする動画像検索方法である。この例のよ
うに、映像の内容が変化する部分を境界にして映像を分
割し、内容的・意味的に連続した映像の範囲をシーンと
して、各シーン中の代表静止画を一覧表示すると、検索
者・閲覧者が、容易に動画像の内容を把握できる。しか
しながら、目視によるシーンの切り分け、編集作業は、
大変な手間と時間を要するため、特開平5−23644
9号公報の動画像処理装置、特開平成6−89545号
公報の動画編集処理の場面転換部検出方法や、特開平成
6−236439号公報の動画像シーン検出装置等の、
数多くのシーンチェンジ検出装置・方法が提案されてい
る。
【0004】しかし、これらのシーンチェンジ検出方法
は、主に隣接するフレーム間の相関関係を利用して、大
きく映像内容が変化する部分を検出したものであるが、
未だ検出精度には不十分な面があり、現状では自動シー
ンチェンジ検出は、動画像情報の編集作業の補助的な手
段であるといえる。また、編集済みの映像では、隣接す
るフレームが大きく変化しても、意味的・内容的に一つ
のシーンと見なしてインデクス付けしてあった方が、検
索者・閲覧者等のエンドユーザにとっては利用しやすい
場合があると考えられる。すなわち、自動シーンチェン
ジ検出結果より作成したインデクス画像をそのまま一覧
表示するのではなく、必要に応じて編集者がインデクス
の削除、複数のインデクスの統合、インデクスの追加等
の適切な修正を加えた上で、動画ストリームのインデク
ス情報をユーザに提供した方がより好ましい。そのため
には、自動シーンチェンジ検出の結果を編集する手段が
必要である。
【0005】また、シーンチェンジ検出により得られた
シーン先頭画像をインデクス画像として一覧表示するだ
けでなく、ユーザが任意指定したインデクス画像からの
動画再生が即座にできることが望ましい。特開平6−1
05280号公報の放送受信記録再生装置は、記録され
た番組情報の間引き画像を再生し、その間引き画像から
番組情報を選択することにより、即座に番組情報の再生
を行うものである。この装置では、間引き画像に対応し
た圧縮動画像ファイル中の画像を検索するために、各間
引き画像が記録されているアドレスを記録しており、こ
のアドレスを参照して圧縮動画像データのデコード開始
位置を決定でき、即座に動画再生が行える。しかし、こ
の方法では、間引き画像から始まる即時再生しかでき
ず、任意指定フレームの即時再生を行うには、全フレー
ムに関するアドレス情報が必要になる。また、動画像符
号化方式の国際標準であるMPEGに代表されるストリ
ーム中にフレーム内符号化したフレームを含み、ランダ
ムアクセスのためのコードが挿入してあるフレーム間予
測符号化方式の圧縮動画像では、デコード開始フレーム
番号、デコード開始ストリーム位置、および、表示開始
フレーム番号情報が必要であり、さらに、ビデオストリ
ーム・オーディオストリームをパケット化し、これを多
重化して一つのストリームとしているMPEGシステム
ストリームでは、システム分離を開始する位置情報も必
要になる。
【0006】他の圧縮動画像の即時再生方法としては、
特開平6−326998号公報の動画像符号化装置があ
る。この装置では、動画像符号化データを途中からの再
生や高速再生がスムーズかつ簡単に行うために、(MP
EGで規定されている)GOPの目標とする始まりの位
置に、実際の始まり位置との差を示す値挿入して、デコ
ード時にGOPの目標とする始まり位置を読み出す方法
を採っている。この方法では、MPEGビデオストリー
ムをバイト単位で解析する必要がなく、GOPの始まり
に高速にアクセスできるが、特殊なエンコーダが必要で
あり、他のエンコーダで作成されたMPEGストリーム
や、MPEGシステムストリームには適用することがで
きない。
【0007】また、特開平6−54292号公報の画像
再生装置では、動画像データベースから静止画像情報を
得られるようにするために、動画シーケンス中のすべて
の、あるいは任意のIピクチャー(フレーム内符号化さ
れたフレーム)の位置を静止画位置情報として記憶する
方法を採っている。この装置では、動画像データとは別
に、動画像の閲覧・検索用に一覧表示するための静止画
ファイルを用意する必要がないことを特徴としている。
この方法の問題点としては、動画像圧縮ストリームと静
止画位置情報のみで、動画中に含まれている特定のフレ
ームを高速に復号・表示することが可能であるが、必ず
しもIピクチャーの画像が動画像内容の把握に適したフ
レームであるとは限らないことが挙げられる。また、一
覧表示用静止画ファイルを予め作成しておく方法と、静
止画表示要求に応じて動画像データから所望の静止画を
復号する方法のいずれを選択するかは、データベースの
記憶容量、圧縮動画像復号装置の性能、ユーザへの応答
時間等を考慮して決めるべきものであり、どちらが優れ
ているとは一概に言えない。
【0008】さらに、動画像データベースでは、キーワ
ードによるテキストベースの検索手段も要求される。特
開平6−162116号公報の動画像表示装置では、M
PEG方式の予測符号化を行って蓄積された大量の動画
像データの中から所望のデータを検索して表示すること
ができる簡単な動画像表示装置を提供するもので、MP
EGストリーム中にユーザデータとして書誌情報を埋め
込み、この書誌情報を用いて検索が行えるようになって
いる。この書誌情報は、人手を介して付加された動画像
データのタイトル、内容、再生時間長等のテキストベー
スの情報である。この方法では、キーワードによる検索
は可能であるが、さらに、検索結果の確認のためにイン
デクス画像一覧表示のような動画内容をビジュアルな検
索・閲覧ができる機能を付加することが望まれる。
【0009】
【発明が解決しようとする課題】圧縮動画像を蓄積した
動画像データベースでは、検索・閲覧を行なうエンドユ
ーザに対して、適切な検索・閲覧手段を提供する必要が
ある。この検索・閲覧手段として、自動シーンチェンジ
検出により動画内容が大きく変わったフレーム画像を抽
出し、これを一覧表示する方法がある。この方法は、情
報提供者が手間をかけずに自動的にシーンチェンジ検出
結果を記録したインデクス情報を作成することができ、
かつ、ユーザが動画内容の瞬間的な把握ができる有効な
手段である。しかし、現状の自動シーンチェンジ検出
は、映像内容により切り分けたものではないため、不十
分な面がある。これを補い、過不足のないインデクス情
報を提供するためには、自動作成されたインデクス情報
を容易に再編集する手段が必要である。また、インデク
ス画像一覧表示のように、一つの圧縮動画像ストリーム
の内容をビジュアルに検索・閲覧する手段のみでなく、
複数ある圧縮動画像ストリームから所望のストリーム
や、ストリーム中のシーンを検索する、テキストベース
の検索手段も必要である。
【0010】圧縮動画像データベース中の複数の圧縮動
画像ストリームを、目的に応じて再編集し、これをエン
ドユーザに提供する場合がある。しかし、動画像符号化
方式の国際標準であるMPEGに代表されるフレーム間
予測符号化方式の圧縮動画像や、MPEGシステムスト
リームのようにビデオ・オーディオの圧縮データを多重
化して一つのストリームとしたデータを扱う場合、圧縮
動画像ストリームのままでは、フレーム単位の再編集に
は制限がある。そのため、編集結果を新たな圧縮動画像
ストリームとするためには、高機能な動画像符号化装置
・復号装置が必要になる。また、再編集する度に新たな
ストリームとして保存すると、それだけの記憶容量が必
要になるので、長期的に保存する必要がない再編集スト
リーム、使用頻度が低い再編集ストリームは、編集情報
のみを記録したファイルだけあれば、編集結果通りに映
像を再生できることが望ましいと考えられる。
【0011】圧縮動画像データベースが有する機能とし
て、上に挙げたようなものがあり、インデクス情報の再
編集時、データベースの検索・閲覧時のどちらの場合に
おいても、任意指定フレームからの即時再生機能が重要
なユーザインタフェースの一つとして要求される。再生
開始までの所要時間を問わない場合には、ストリーム先
頭からのコード解析によってデコード開始位置を求める
方法や、総フレーム数と指定フレーム番号を基にシーク
量を適当に決定し、逐次近似的にデコード開始位置を検
出する方法等が考えられる。再生開始までの所要時間を
できるだけ短くするには、フレーム番号とストリームの
デコード開始位置の対応関係を予め定めておかなければ
ならない。固定長符号化方式の圧縮動画像ストリームで
は、1フレームの符号化長がわかればフレーム単位のラ
ンダムアクセスが可能であり、可変長符号化のフレーム
内符号化方式の圧縮動画像では、フレーム毎にアドレス
を記録しておけば、フレーム単位のランダムアクセスが
可能である。これに対し、MPEGのようなフレーム間
予測符号化方式の圧縮動画像ストリームや、ビデオ・オ
ーディオストリームを多重化して一つのストリームとし
たデータでは、複数のフレームにまたがる圧縮を行って
いる点、ビデオ・オーディオが多重化されている点を考
慮した特別なフレーム単位のランダムアクセス方法が必
要である。
【0012】本発明は、上記のような課題を解決するも
ので、動画像符号化方式の国際標準であるMPEGに代
表されるフレーム間予測符号化方式の圧縮動画像やMP
EGシステムストリームのようにビデオ・オーディオの
圧縮データを多重化して一つのストリームとしたデータ
を対象とする高速頭出し機能を有する圧縮動画像復号・
表示装置、および、この圧縮動画像復号・表示装置を利
用した、圧縮動画像を簡易的に編集できる圧縮動画像簡
易編集装置を提供することを目的とする。
【0013】
【課題を解決するための手段】本発明の圧縮動画像復号
・表示装置においては、MPEGビデオストリーム、M
PEGシステムストリームに対応した、フレーム番号か
らストリーム中のデコード開始位置、再生開始位置を決
定できる頭出し再生用テーブル作成手段を有し、作成し
た頭出し再生用テーブルを利用して、指定フレームから
の動画再生を行なう指定フレームからの頭出し再生手段
と、所定のフォーマットで記載されているシーンチェン
ジ検出結果ファイルに基づいて、シーン先頭フレームの
静止画像をインデクス画像として表示するインデクス画
像復号・表示手段と、インデクス画像復号・表示手段に
よりインデクス画像を一覧表示するインデクス画像一覧
表示機能と、一覧表示したインデクス画像中から任意に
選択したインデクス画像からの頭出し再生手段を具備す
ることを特徴とする。
【0014】本発明の圧縮動画像簡易編集装置は、上記
圧縮動画像復号・表示装置と同等の機能を有し、インデ
クス画像一覧表示機能、頭出し再生機能等を利用してシ
ーンチェンジ結果を確認し、インデクス画像を変更・削
除・追加できるインデクス画像修正手段と、インデクス
画像修正に伴い、シーンチェンジ検出結果ファイルを修
正できるシーンチェンジ結果修正手段と、複数ファイル
の複数シーンを所望の順序につなぎ合わせた映像を再生
するための情報を記録したファイルを作成する簡易編集
情報ファイル作成手段と、簡易編集情報ファイル作成手
段により作成された簡易編集情報ファイルに基づいて、
複数の圧縮動画像ストリームの複数シーンを指定順序に
再生できる圧縮動画像復号・表示手段と、頭出し再生用
テーブルのヘッダに、可変長の検索用キーワードを追加
でき、かつ、シーンチェンジ検出結果ファイル中の各シ
ーン情報に検索用キーワードを追加できる検索用キーワ
ード登録手段を具備することを特徴とする。
【0015】
【発明の実施の形態】本発明の請求項1に記載の発明
は、指定された圧縮動画像ストリームの再生開始・終了
フレーム番号を記憶し、これを出力する再生区間記憶手
段と、予め作成してある頭出し再生用テーブルを参照し
て、頭出し再生に必要な情報を読み出し、これを出力す
るデコード情報読み取り手段と、再生区間記憶手段の出
力とデコード情報読み取り手段の出力とをまとめ、これ
を記憶するデコード情報記憶手段と、デコード情報に基
づいて圧縮動画像ストリームをシークし、その位置から
ストリーム送出を開始するストリーム送出手段と、スト
リーム送出手段から送出されてくる圧縮動画像ストリー
ムをデコード情報に従って復号し、再生開始フレームに
達したら映像表示を開始し、さらに、再生終了フレーム
に達したらデコード・映像表示を終了する機能、およ
び、再生開始・終了が同じ値の場合はフレーム静止画像
出力する機能を持つビデオ復号手段を有する、ストリー
ム中にフレーム内予測符号化データを含み、ランダムア
クセスのためのコードが挿入してあるフレーム間予測符
号化圧縮動画像ストリームに対応した、圧縮動画像復号
・表示装置であり、予め作成してある頭出し再生用テー
ブルを利用し、ストリーム位置に関係なく、頭出し所要
時間がほぼ一定な任意指定フレームからの高速頭出し再
生、指定区間再生が可能であるという作用を有する。
【0016】本発明の請求項6に記載の発明は、再生開
始・終了ビデオフレーム番号を記憶する再生区間記憶手
段と、再生開始・終了オーディオフレーム番号を記憶す
る再生区間記憶手段と、予め作成してあるMPEGシス
テムストリーム対応頭出し再生用テーブルを読み込み、
ビデオフレーム、もしくは、オーディオフレームを基準
とした頭出し再生命令に応じて、頭出し再生に必要な情
報を読み出し、これを出力するデコード情報読み取り手
段と、再生区間記憶手段の出力とデコード情報読み取り
手段の出力とをまとめ、これを記憶するデコード情報記
憶手段と、デコード情報記憶手段に記憶されているデコ
ード情報に基づいて圧縮動画像ストリームをシークし、
ストリームから読みとったパックヘッダ情報をデコード
情報記憶手段に出力した後に、システム分離したビデオ
・オーディオパケットを順次送出するストリーム送出手
段と、ストリーム送出手段から受け取ったビデオストリ
ームを復号し、再生開始フレーム番号に達したら映像表
示を開始し、さらに、再生終了フレームに達したら復号
・映像表示を終了する機能、および、再生開始・終了が
同じ値の場合はフレーム静止画像出力する機能を持つビ
ビデオ復号手段と、ストリーム送出手段から受け取った
オーディオストリームを解析し、デコード開始フレーム
に達したら、オーディオ再生を開始し、さらに、再生終
了フレームに達したらデコードを終了するオーディオ復
号手段と、デコード情報記憶手段に記憶されている情報
を基にして、ビデオ・オーディオ再生の同期をとる同期
再生手段を有する、動画像符号化の国際標準であるMP
EGシステムストリームに対応した、圧縮動画像復号・
表示装置であり、予め作成してある頭出し再生用テーブ
ルを利用し、ストリーム位置に関係なく、頭出し所要時
間がほぼ一定な任意指定フレームからの高速頭出し再
生、指定区間再生が可能であるという作用を有する。
【0017】本発明の請求項15に記載の発明は、圧縮
動画像ストリーム中の各シーンの先頭フレームのフレー
ム番号が記録してある所定フォーマットのシーンチェン
ジ検出結果ファイルを読み取り、インデクス画像一覧表
示命令を出力するシーンチェンジ情報記憶手段と、頭出
し再生可能圧縮動画像復号・表示手段と、頭出し再生可
能圧縮動画像復号・表示手段から順次出力されてくる静
止画像を縮小して、これを一覧表示するインデクス画像
一覧表示手段と、一覧表示されているインデクス画像群
の中から任意に選択されたインデクス画像に対応する再
生区間を、シーンチェンジ情報を参照して決定する再生
区間決定手段と、動画像区間再生命令とインデクス一覧
表示命令を判別し、表示内容を制御する表示内容制御手
段とを有する圧縮動画像復号・表示装置であり、予めイ
ンデクス画像ファイルを作成することなしに、圧縮動画
像ストリームから作成したインデクス画像を一覧表示
し、任意に選択したインデクス画像からの動画再生を行
なえるという作用を有する。
【0018】本発明の請求項18に記載の発明は、一覧
表示されているインデクス画像から選択された連続して
いる複数のインデクス画像を一つの動画像再生区間とし
て記憶する動画像再生区間記憶手段と、複数個設定され
た動画像再生区間の再生順序を決定する再生順序決定手
段と、動画像再生区間記憶手段が記憶している動画像再
生区間を一つのシーンとみなし、シーンの先頭フレーム
番号および最終フレーム番号を抽出し、これを再生順序
決定手段が記憶している再生順序に基づいて整列して簡
易編集情報とする簡易編集情報ファイル作成手段を有す
る圧縮動画像簡易編集装置であり、編集結果としての新
たな圧縮動画像ストリームを作成することなく、不要な
部分を削除した内容の濃い映像を、閲覧・検索者等のエ
ンドユーザに提供する簡易編集情報ファイルを作成でき
るという作用を有する。
【0019】以下、本発明の実施の形態について図1か
ら図24を用いて説明する。 (実施の形態1)図1は、圧縮動画像ストリーム頭出し
再生用テーブル作成装置である。これは、ストリーム中
にフレーム内予測符号化データを含み、ランダムアクセ
スのためのコードが挿入してあるフレーム間予測符号化
圧縮動画像ストリームを対象にしたものであり、動画像
符号化の国際標準であるMPEGのビデオストリームも
該当する。ここでは、圧縮動画像ストリームがMPEG
ビデオストリームであるとして説明する。
【0020】図1の圧縮動画像ストリーム頭出し再生用
テーブル作成装置は、コード検出手段と、フレーム数算
出手段、ヘッダ情報作成手段、テーブル作成手段から構
成される。図1中の各部について順に説明する。101
は、圧縮動画像ストリームを読み込み、ストリーム中に
含まれるランダムアクセスの基準となるGOPコード
と、符号化された各フレームの先頭に付加されているピ
クチャコード等を順次検出し、GOPコードのストリー
ム中の位置を記憶しておくコード検出手段である。10
2は、コード検出手段101で検出されたピクチャコー
ドの数をカウントし、GOPコードが検出される度に、
各GOPコード直前までの累積フレーム数を出力するフ
レーム数算出手段である。103は、コード検出手段1
01やフレーム数算出手段の出力を基にして、総フレー
ム数、再生時間や、デコード時のパラメータ等を記載し
たヘッダを作成するヘッダ情報作成手段である。104
は、コード検出手段101、フレーム数算出手段10
2、ヘッダ情報作成手段103の出力を利用して、頭出
し再生用テーブルを作成して、ファイルとして出力する
テーブルファイル作成手段である。
【0021】以上のような構成の圧縮動画像ストリーム
頭出し再生用テーブル作成装置の動作について説明す
る。まず、コード検出手段101において、GOPコー
ド、ピクチャコードの検出を行なう。GOPコード、ピ
クチャコードのコード長は4バイトである。コード検出
手段101内には、適当な長さのバッファがあり、これ
に圧縮動画像ストリームを読み込み、バイト単位でポイ
ンタをシフトさせながら、4バイト単位でストリームを
解析していく。また、必要に応じて、MPEGビデオス
トリームのシーケンス層中に含まれるデコード時のパラ
メータ等を記憶しておく。
【0022】コード検出手段101において、GOPコ
ード、ピクチャコードが検出された場合には、解析位置
を指し示すポインタを4バイトシフトさせる。ピクチャ
コード検出時には、フレーム数算出手段にピクチャコー
ド検出信号を送る。ピクチャには、I,P,Bピクチャ
があるので、必要に応じて、これらを区別した信号を送
っても良い。一方、フレーム数算出手段102では、コ
ード検出手段101からピクチャコード検出信号を受け
る度に、フレーム数をカウントアップしていく。
【0023】コード検出手段101において、GOPコ
ードが検出された場合には、コード検出手段101から
フレーム数算出手段102にGOPコード検出信号を送
り、これと同時に、テーブル作成手段104に、ストリ
ーム先頭からGOPコード位置までのオフセットバイト
数を出力する。これに伴い、フレーム数算出手段102
は、ストリーム先頭からGOPコードまでの累積フレー
ム数をテーブル作成手段に出力する。テーブル作成手段
104では、累積フレーム数とストリーム先頭からGO
Pコード位置までのオフセットバイト数を一組としてレ
コードを作成し、順次テーブルファイルに追加してい
く。 そして、コード検出手段101においてストリー
ムの終端が確認されると、フレーム数算出手段102、
ヘッダ情報作成手段103、および、テーブル作成手段
104に、ストリーム解析終了信号が送られる。ヘッダ
情報作成手段では、コード検出手段101に記憶されて
いるデコード時のパラメータ、フレーム数算出手段10
2に記憶されている総フレーム数等を、予め定められた
フォーマットに従ってまとめ、これをヘッダ情報として
出力する。テーブル作成手段では、ヘッダ情報をテーブ
ルファイルに付加して処理を終了する。
【0024】ただし、上記の説明では、フレーム数算出
手段102は、コード検出手段101からピクチャコー
ド検出信号を受ける度に、フレーム数をカウントアップ
し、ストリーム先頭からストリーム先頭からGOPコー
ドまでの累積フレーム数を算出するとしたが、GOPヘ
ッダ中のTC(Time Code)や、ピクチャヘッダ中のT
R(Temporal Reference)等の情報を利用して累積フレ
ーム数を算出するものとしても良い。
【0025】表1は、MPEGビデオストリーム頭出し
再生用テーブルファイルの一例である。この例では、累
積フレーム数記録領域に3バイト、ストリーム先頭から
GOPコードまでのオフセットバイト数(以下、オフセ
ットバイト数と略す)記録領域に4バイトを用意してい
る。この割り当てバイト数は、取り扱う圧縮動画像スト
リームの長さに応じて変更して良い。
【0026】
【表1】
【0027】例として、表1のテーブルファイルを利用
した、100フレーム目からのMPEGビデオストリー
ム頭出し再生方法を説明する。まず、テーブルファイル
の累積フレーム数記録領域の数値を、上から順に調べて
いき100以上の値になるレコードを探す。100より
大きくなるレコードは、8番目の105であり、そのレ
コードのオフセットバイト数は、190038バイトで
ある。これは、ストリームを190038バイトだけシ
ークすると、その位置にGOPコードが存在し、そのG
OPコードからデコードを開始し、表示を行うと106
フレーム目から再生されることを意味する(GOPコー
ド直前までに105フレーム存在するから)。すなわ
ち、100フレーム目から再生するためには、テーブル
ファイルの一つ前のレコードを参照しなければならな
い。一つ前のレコードは、累積フレーム数が90、オフ
セットバイト数が142350である。そこで、ストリ
ームを142350バイトシークし、その位置のGOP
コードからデコードを開始する。ただし、すぐにはデコ
ード画像の表示は行わない。デコードを開始したフレー
ムのフレーム番号は91である。ここからフレーム数を
カウントしていき、100フレーム目に到達したら、表
示を開始する。
【0028】このように、表1の頭出し再生用テーブル
ファイルは、ストリーム中にフレーム内予測符号化デー
タを含み、ランダムアクセスのためのコードが挿入して
あるフレーム間予測符号化圧縮動画像ストリームは、途
中からの再生を行なう際、ランダムアクセスのためのコ
ード(MPEGビデオストリームではGOPコード)か
らデコードを開始しなければならないことを利用してお
り、指定した再生開始フレームからの高速頭出し再生を
行うためのものである。また、テーブルファイルにはヘ
ッダ中に、ストリームのタイトル、検索用キーワード用
を記載する可変長領域を用意し、データベース中の動画
像ストリーム検索に利用できるようにしても良い。
【0029】図2は、MPEGシステムストリーム頭出
し再生用テーブル作成装置である。これは、図1の圧縮
動画像ストリーム頭出し再生用テーブル作成装置を拡張
し、ビデオストリームとオーディオストリームが多重化
されているMPEGシステムストリームに対応させたも
のである。ここでは、対象とする圧縮動画像ストリーム
をMPEGシステムストリームとするが、これに類似し
た多重化ストリームに適応することも可能である。
【0030】図2のMPEGシステムストリーム頭出し
再生用テーブル作成装置は、システムコード検出手段、
ビデオストリーム解析手段、オーディオストリーム解析
手段、テーブル作成手段から構成される。図2中の各部
について順に説明する。201は、MPEGシステムス
トリームを読み込み、ストリーム中に含まれるパックス
タートコード、および、パケットスタートコードを検出
し、それらのコードのストリーム位置を記憶し、システ
ム分離したビデオパケットとオーディオパケットを送出
するシステムコード検出手段である。202は、システ
ムコード検出手段201から送出されてくる複数のビデ
オパケットを、一本のビデオストリームとして解析する
ビデオパケット解析手段である。203は、システムコ
ード検出手段201から送出されてくる複数のオーディ
オパケットを、一本のオーディオストリームとして解析
するオーディオパケット解析手段である。204は、ビ
デオパケット解析手段202、および、オーディオパケ
ット解析手段203からの出力を基にして、頭出し再生
用テーブルを作成するテーブル作成手段である。ビデオ
パケット解析手段202は、ビデオパケット内コード検
出手段、ビデオフレーム数算出手段、ビデオストリーム
情報記憶手段、ビデオ頭出し再生用レコード作成手段か
ら構成される。205は、システムコード検出手段から
送出されてくる複数のビデオパケットを、一本のビデオ
ストリームとして解析し、ストリーム中に含まれるピク
チャコード、および、GOPコードを含むビデオパケッ
トを検出するビデオパケット内コード検出手段である。
206は、ビデオパケット内コード検出手段205で検
出されたピクチャコードの数をカウントし、GOPコー
ドが検出される度に、各GOPコード直前までの累積フ
レーム数、および、パケット内のGOPコード以降のピ
クチャコード数を出力するビデオフレーム数算出手段で
ある。207は、ビデオパケット内コード検出手段20
5において記憶されているビデオストリームデコード時
のパラメータや、総フレーム数等の情報を記憶しておく
ビデオストリーム情報記憶手段である。208は、ビデ
オパケット内コード検出手段においてGOPコードを含
むビデオパケットが検出される度に、パケット内フレー
ム数、累積フレーム数、ストリーム先頭からパックヘッ
ダまでの絶対オフセットバイト数、パックヘッダからパ
ケットヘッダまでの相対オフセットバイト数をまとめ、
ビデオ頭出し再生用レコードを作成するビデオ頭出し再
生用レコード作成手段である。
【0031】オーディオパケット解析手段203は、オ
ーディオパケット内コード検出手段、オーディオフレー
ムカウント手段、オーディオストリーム情報記憶手段、
オーディオ頭出し再生用レコード作成手段から構成され
る。209は、システムコード検出手段201から送出
されてくる複数のオーディオパケットを、一本のオーデ
ィオストリームとして解析し、パケット内のAAU(Au
dio Access Unit)ヘッダを検出するオーディオパケッ
ト内コード解析手段である。210は、オーディオパケ
ット内コード検出手段209で検出されたAAUヘッダ
コードの数をカウントし、各オーディオパケットコード
直前までの累積AAU数、および、パケット内AAU数
を出力するオーディオフレーム数算出手段である。21
1は、オーディオパケット内コード検出手段209に記
憶されているオーディオストリームデコード時のパラメ
ータや、総フレーム数等の情報を記憶しておくオーディ
オストリーム情報記憶手段である。212は、オーディ
オパケット内コード検出手段において、1つのパケット
解析が終了する度に、パケット内フレーム(AAU)
数、累積フレーム(AAU)数、ストリーム先頭からパ
ックヘッダまでの絶対オフセットバイト数、パックヘッ
ダからパケットヘッダまでの相対オフセットバイト数を
まとめ、オーディオ頭出し再生用レコードを作成するオ
ーディオ頭出し再生用レコード作成手段である。
【0032】以上のような構成のMPEGシステムスト
リーム頭出し再生用テーブル作成装置の動作について説
明する。まず、システムコード検出手段201におい
て、パックヘッダコード、パケットヘッダコードの検出
を行なう。パックヘッダコード、パケットヘッダコード
のコード長は、4バイトである。システムコード検出手
段は、内部に適当な長さのバッファを持ち、これにMP
EGシステムストリームを読み込み、バイト単位でポイ
ンタをシフトさせながら、4バイト単位でストリームを
解析していく。GOPコード、ピクチャコードが検出さ
れた場合には、解析位置を指し示すポインタを4バイト
シフトさせる。また、パックスタートコードのストリー
ム位置、パケットスタートコードのストリーム位置を記
憶し、システムヘッダ中の情報をテーブル作成手段20
4に出力する。システムコード検出手段201におい
て、ビデオパケットヘッダが検出されると、ビデオパケ
ット解析手段202にビデオパケットを送出し、オーデ
ィオパケットヘッダが検出されると、オーディオパケッ
ト解析手段203にオーディオパケットを送出する。ま
た、パケット送出と共に、ストリーム先頭から各パケッ
トが属するパックのパックスタートコードまでの絶対オ
フセットバイト数と、各パケットが属するパックのパッ
クスタートコードから各パケットスタートコードまでの
相対オフセットバイト数も出力する。これら二つのオフ
セットバイト数は、ビデオパケット解析手段202、も
しくは、オーディオパケット解析手段203において記
憶される。
【0033】ここでは、ビデオパケット解析手段202
の動作を説明する。ビデオパケット解析手段202は、
システムコード解析手段201から順次送出されてくる
ビデオパケットを一本のビデオストリームとみなして解
析を行なう。ただし、ビデオパケット内コード検出手段
205は、パケット境界を意識した解析を行ない、GO
Pコード、ピクチャコードが二つのパケットに分断され
ている場合は、前のパケットに属するものと判定する。
また、ストリーム先頭から各パケットが属するパックの
パックスタートコードまでの絶対オフセットバイト数
と、パケットが属するパックのパックスタートコードか
らパケットスタートコードまでの相対オフセットバイト
数を記憶しておく。
【0034】ビデオパケット内コード検出手段205に
おいて、ピクチャコードが検出された場合には、ビデオ
フレーム数算出手段206に、ピクチャコード検出信号
が送信される。ピクチャには、I,P,Bピクチャがあ
るので、必要に応じて、これらを区別した信号を送って
も良い。一方、ビデオフレーム数算出手段206では、
ピクチャコード検出信号を受ける度に、フレーム数をカ
ウントアップしていく。
【0035】ビデオパケット内コード検出手段205に
おいて、GOPコードが検出された場合には、ビデオフ
レーム数算出手段206へGOPコード検出信号が送信
され、これと同時に、ビデオ頭出し再生用レコード作成
手段208へ、ストリーム先頭からパケットが属するパ
ックのパックスタートコードまでの絶対オフセットバイ
ト数と、パケットが属するパックのパックスタートコー
ドから各パケットスタートコードまでの相対オフセット
バイト数が出力される。これに伴い、ビデオフレーム数
算出手段206は、GOPコード直前までの累積フレー
ム数と、GOPを含むパケット内のGOPコード以降に
存在するピクチャコード数を、ビデオ頭出し再生用レコ
ード作成手段208へ出力する。ビデオ頭出し再生用レ
コード作成手段208は、送られてきたオフセットバイ
ト数、フレーム数等を一組としてビデオ頭出し再生用レ
コードを作成し、順次テーブルファイル作成手段204
に出力していく。
【0036】ビデオ頭出し再生用レコードは、GOPを
含むパケット内のGOPコード以降に存在するピクチャ
コード数(以降、パケット内フレーム数と略す)、スト
リーム先頭からGOPコード直前までの累積フレーム
数、ストリーム先頭からパックスタートコードまでの絶
対オフセットバイト数、パックスタートコードからパケ
ットスタートコードまでの相対オフセットバイト数を一
組にしたものであり、GOPコードを含むパケットに対
してのみ作成されるものである。
【0037】また、ビデオストリーム情報記憶手段20
7は、ビデオパケット内コード検出手段205から受け
取るビデオストリームデコード時のパラメータや、ビデ
オフレーム数算出手段206から受け取る総フレーム数
等の情報を記憶するためのもので、これらはテーブルフ
ァイルのヘッダ中に記載されるものである。
【0038】ここでは、オーディオパケット解析手段2
03の動作を説明する。オーディオパケット解析手段2
03は、システムコード解析手段201から順次送出さ
れてくるオーディオパケットを一本のオーディオストリ
ームとみなして解析を行なう。ただし、オーディオパケ
ット内コード検出手段209は、パケット境界を意識し
た解析を行ない、AAUヘッダコードが二つのパケット
に分断されている場合は、前のパケットに属するものと
判定する。また、ストリーム先頭から各パケットが属す
るパックのパックスタートコードまでの絶対オフセット
バイト数と、パケットが属するパックのパックスタート
コードからパケットスタートコードまでの相対オフセッ
トバイト数を記憶しておく。
【0039】オーディオパケット内コード検出手段20
9において、AAUヘッダコードが検出された場合に
は、オーディオフレーム数算出手段210に、AAUヘ
ッダ検出信号が送られる。一方、オーディオフレーム数
算出手段210では、AAUヘッダ検出信号を受ける度
に、フレーム数をカウントアップしていく。
【0040】オーディオパケット内コード検出手段20
9において、一つのパケットの解析が終了すると、オー
ディオパケット内コード検出手段209は、オーディオ
フレーム数算出手段にパケット解析終了信号を送り、オ
ーディオ頭出し再生用レコード作成手段へ、ストリーム
先頭から各パケットが属するパックのパックスタートコ
ードまでの絶対オフセットバイト数と、各パケットが属
するパックのパックスタートコードから各パケットスタ
ートコードまでの相対オフセットバイト数を出力する。
これに伴い、オーディオフレーム数算出手段210は、
ストリーム先頭から対象パケットの終わりまでの累積A
AU数と、パケット内AAU数を、オーディオ頭出し再
生用レコード作成手段212へ出力する。(ただし、累
積AAU数は、ストリーム先頭からパケットコード直前
までのAAU数と定義しても良い。)オーディオ頭出し
再生用レコード作成手段212は、送られてきたオフセ
ットバイト数、AAU数等を一組としてレコードを作成
し、順次テーブルファイル作成手段204に出力してい
く。
【0041】オーディオ頭出し再生用レコードは、パケ
ット内AAU数、累積AAU数、ストリーム先頭からパ
ックスタートコードまでの絶対オフセットバイト数、パ
ックスタートコードからパケットスタートコードまでの
相対オフセットバイト数を一組にしたものであり、すべ
てのオーディオパケットに対して作成されるものであ
る。
【0042】また、オーディオストリーム情報記憶手段
211は、オーディオパケット内コード検出手段209
から受け取るオーディオストリームデコード時のパラメ
ータや、オーディオフレーム数算出手段210から受け
取る総フレーム数等の情報を記憶するためのもので、こ
れらはテーブルファイルのヘッダ中に記載されるもので
ある。
【0043】テーブルファイル作成手段204は、ビデ
オ頭出し再生用レコード作成手段204、および、オー
ディオ頭出し再生用レコード作成手段212から送られ
てくる頭出し再生用レコードに、ビデオ・オーディオを
区別する識別子を付加して、これをテーブルファイルに
順次つけ加えていく。
【0044】そして、システムコード検出手段201に
おいて、ストリームの終端が確認されると、ビデオパケ
ット解析手段202、オーディオパケット解析手段20
3、および、テーブル作成手段204にストリーム解析
終了信号が送られる。この信号を受けると、テーブル作
成手段204は、システムコード検出手段201、ビデ
オストリーム情報記憶手段207、および、オーディオ
ストリーム情報記憶手段211に記憶されている情報を
受け取り、ヘッダを作成し、これをテーブルファイルに
付加する。
【0045】表2は、MPEGシステムストリーム頭出
し再生用テーブルファイルの一例である。この例では、
ビデオ・オーディオ識別子に1ビット、パケット内フレ
ーム数に7ビット、累積フレーム数に3バイト、ストリ
ーム先頭からパックヘッダまでの絶対オフセットバイト
数に4バイト、パックヘッダからパケットヘッダまでの
相対オフセットバイト数に2バイト用意している。この
割り当てバイト数は、取り扱うMPEGシステムストリ
ームの長さに応じて変更して良い。また、表2中のパケ
ット内フレーム数とは、ビデオの場合はGOPを含むパ
ケット内のGOPコード以降に存在するピクチャコード
数を意味し、オーディオの場合はパケット内AAU数を
意味する。
【0046】
【表2】
【0047】MPEGシステムストリームは、ビデオス
トリームとオーディオストリームがパケット化され、そ
のパケットが多重化されて一つのストリームになってい
る。そのため、途中からの頭出し再生を行なう際には、
ビデオ・オーディオのシステム分離の開始位置を決定し
なければならない。ビデオフレームを基準とした頭出し
再生の場合には、GOPコードがシステム分離開始位置
の目安となる。そこで、GOPを含むパケットのパケッ
トコード位置をビデオ頭出し再生用レコードとして持つ
ことにした。さらに、MPEGシステムストリームは、
いくつかのパケットをまとめ、これにヘッダを付加して
パックとしているが、パックの主目的は、ストリーム途
中からのビデオ・オーディオの同期復号再生を可能にす
ることにある。パックヘッダ中には、SCR(System C
lock Reference, システム時刻基準参照値)等の情報が
含まれている。そこで、パックヘッダ中の情報も参照す
ることを考慮して、ストリーム先頭からパックヘッダま
での絶対オフセットバイト数と、パックヘッダからパケ
ットヘッダまでの相対オフセットバイト数に分けてオフ
セットバイト数を記録するようにしてある。ただし、ビ
デオ再生と同時にオーディオ再生を行わない場合や、厳
密なビデオ・オーディオ同期再生が要求されない場合
は、パックヘッダ中の情報を使用しなくても良い。この
場合は、ストリーム先頭からGOPコードを含むパケッ
トまでの絶対オフセットバイト数のみを記録することに
なる。
【0048】MPEGシステムストリームに対して、こ
のような頭出し再生用テーブルファイルを作成しておけ
ば、ビデオフレームを基準とした頭出し再生、オーディ
オフレームを基準とした頭出し再生を高速に行なうこと
ができる。また、表2のうち、ビデオ頭出し再生用パケ
ット内フレーム数は、必ずしも必要のないデータである
ので記録しなくてもかまわない。ただし、ビデオ・オー
ディオレコードのレコード長はそろえることが好まし
い。
【0049】表3は、頭出し再生用テーブルファイルの
ヘッダの例である。テーブルファイルヘッダ中のAAU
ヘッダ、システムヘッダ、シーケンスヘッダは、MPE
Gシステムストリームから複製したものである。これら
は、ストリーム途中からの頭出し再生時に必要なデコー
ドパラメータが含まれているため、テーブルヘッダ中に
記録している。また、この情報を見れば、MPEGシス
テムストリームの特徴を確認することもできる。
【0050】
【表3】
【0051】頭出し再生のために頭出し再生用テーブル
を予め作成しておくことになるが、ストリームをすべて
復号する必要はなく、スタートコード検出のみで作成で
きるので、記録時間長と比較して、極短時間でテーブル
作成が可能であり、また、圧縮動画像ストリームと比較
して、極小容量のファイルとなる。また、エンコーダに
組み込めば、エンコード時に同時作成することも可能で
ある。さらに、テーブルファイルをユーザコードとして
圧縮動画像ストリームの先頭に付加し、デコーダに頭出
し再生用テーブル読み取り機能を付加しても良い。
【0052】図3は、MPEGシステムストリームのデ
コード情報読み取り装置である。これは、図2のMPE
Gシステムストリーム頭出し再生用テーブル作成装置で
作成した頭出し再生用テーブルを利用して、頭出し時に
必要なデコード情報を得るためのものであり、頭出し再
生可能圧縮動画像復号・表示装置に組み込まれる。頭出
し再生可能圧縮動画像復号・表示装置を説明するに先立
ち、デコード情報読み取り装置について説明する。(ま
た、MPEGビデオストリームのデコード情報読み取り
装置は、MPEGシステムストリームのデコード情報読
み取り装置と、ほとんど同じ構成であるので省略す
る。) 図3のデコード情報読み取り装置は、ビデオ再生開始番
号記憶手段、オーディオ再生開始番号記憶手段、テーブ
ル参照手段、レコード記憶手段から構成される。図3中
の各部について順に説明する。301は、外部から入力
されるビデオ再生開始フレーム番号を記憶するビデオ再
生開始番号記憶手段、302は、外部から入力されるオ
ーディオ再生開始フレーム番号を記憶するオーディオ再
生開始番号記憶手段、303は、頭出し再生用テーブル
ファイルを読み込み、これを参照して、ビデオ再生開始
番号記憶手段301、もしくは、オーディオ再生開始番
号記憶手段302に記憶されている再生開始番号のフレ
ームからの再生を行うためのストリームシークバイト
数、デコード開始フレーム番号が記録されている頭出し
再生用レコードを決定するテーブル参照手段、304
は、テーブル参照手段303で決定されたレコードを記
憶し、これを出力するレコード記憶手段である。なお、
ビデオ再生開始番号記憶手段301と、オーディオ再生
開始番号記憶手段302は、同時には使用されない。
【0053】以上のような構成のデコード情報読み取り
装置の動作について説明する。まず、ビデオフレームを
基準としたデコード情報読み取り過程を図4のフローチ
ャートを用いて説明する。このフローチャートの各ステ
ップの概要を記す。ステップ101(図面中ではS10
1と表記、以下同様)では、ビデオ再生開始番号記憶手
段301に記憶されている再生開始フレーム番号を読み
込む。ステップ102では、テーブルファイル中の参照
したレコードを記憶しておくレコード記憶バッファの初
期化を行う。レコード記憶バッファは、テーブル参照手
段303中に2本用意されており、現在参照中のレコー
ド、一つ前に参照していたレコードを記憶するために使
用される。二つのバッファを現レコード記憶バッファ、
前レコード記憶バッファと呼ぶことにする。また、記憶
するレコードは、表2に示されているビデオ・オーディ
オ識別子、パケット内フレーム数、累積フレーム数、ス
トリーム先頭からパックヘッダまでの絶対オフセットバ
イト数、パックヘッダからパケットヘッダまでの相対オ
フセットバイト数で構成されている。ステップ103で
は、既に読み込まれている頭出し再生用テーブルファイ
ルの1レコードを、現レコード記憶バッファに読み込
む。ステップ104では、現レコード記憶バッファ中の
ビデオ・オーディオ識別子をチェックし、ビデオ頭出し
レコードであるか否かを判定する。ビデオ頭出しレコー
ドでなかった場合には、ステップ103に戻り、テーブ
ル中の次のレコードを、現レコード記憶バッファに読み
込む。ステップ104において、ビデオ頭出しレコード
あると判定された場合には、ステップ105に移り、再
生開始フレーム番号と現レコード記憶バッファ中の累積
フレーム数に1を加えた値を比較する。これが一致した
場合は、それレコードに従って復号・表示を行えばよい
ことを意味するので、ステップ108に移り、現レコー
ド記憶バッファ中のレコードを参照レコードと決定し、
ステップ108においてレコードを図3のテーブル記憶
手段304に出力する。ステップ105において、再生
開始フレーム番号より現レコード記憶バッファ中の累積
フレーム数に1加えた値が小さかった場合は、参照すべ
きレコードにまだ到達していないことを意味するので、
ステップ109において現レコード記憶バッファの内容
を、前レコード記憶バッファに複製して、ステップ10
3に戻り、テーブル中の次のレコードを読み込み、処理
を継続する。ステップ105において、再生開始フレー
ム番号より現レコード記憶バッファ中の累積フレーム数
に1加えた値が大きかった場合は、参照すべきレコード
を過ぎてしまったことを意味するので、ステップ106
に進み、前レコード記憶バッファを参照レコードと決定
し、ステップ107においてレコードを図3のテーブル
記憶手段304に出力する。このような流れで、テーブ
ルファイル中の参照レコードを決定する。
【0054】表2のMPEGシステムストリーム頭出し
再生用テーブルファイルの例を用いて、50フレーム目
からのビデオ頭出し再生を行う際のテーブルファイル中
の参照レコード決定過程を説明する。表2のテーブルフ
ァイル中のビデオ・オーディオ識別子の値が0、すなわ
ちビデオ頭出し再生用レコードのみに注目し、オーディ
オ用頭出しレコードは読み飛ばす。ビデオ頭出し再生用
レコードは、GOPコードを含むパケットに対してのみ
作成されている。テーブルファイルを上から順に見てい
き、累積フレーム数が50以上になるレコードを探す。
表2の場合は、下から4番目のレコードである。このレ
コードの累積フレーム数は62、ストリーム先頭からパ
ックヘッダまでの絶対オフセットバイト数は27703
8バイト、パックヘッダからパケットヘッダまでの相対
オフセットバイト数は4108バイトである。これは、
システムストリームを277038バイトシークする
と、パックヘッダコードがあり、さらにそこから410
8バイトシークした位置にGOPを含むパケットのパケ
ットヘッダがあるので、そこからシステム分離を開始し
て、そのパケット中に存在するGOPからデコードを開
始すると63フレーム目から再生されることを意味す
る。すなわち、50フレーム目からの再生を行うために
は、一つ前のGOPからデコードを開始しなければなら
ない。そこで、一つ前のビデオ頭出し再生用レコードを
参照すると、累積フレーム数は32、ストリーム先頭か
らパックヘッダまでの絶対オフセットバイト数は135
450バイト、パックヘッダからパケットヘッダまでの
相対オフセットバイト数は12バイトとなっている。こ
のレコードが、50フレーム目からの頭出し再生に必要
なレコードであるので、これを参照してストリームをシ
ークし、頭出し再生を行うことになる。
【0055】次に、オーディオフレームを基準としたス
トリームシーク量算出過程を説明する。ストリームシー
ク量は、テーブル参照手段302で決定されるが、オー
ディオフレーム(フレームはAAUを意味する)を基準
としたストリームシーク量算出過程は、図5のフローチ
ャートに示してある。この流れに従って各ステップの概
要を記す。ステップ201では、オーディオ再生開始番
号記憶手段302に記憶されている再生開始フレーム番
号を読み込む。ステップ202では、テーブルファイル
中の参照したレコードを記憶しておくレコード記憶バッ
ファの初期化を行う。このレコード記憶バッファは、テ
ーブル参照手段303中に用意されており、記憶するレ
コードは、表2に示されているビデオ・オーディオ識別
子、パケット内フレーム数、累積フレーム数、ストリー
ム先頭からパックヘッダまでの絶対オフセットバイト
数、パックヘッダからパケットヘッダまでの相対オフセ
ットバイト数で構成されている。このうち、累積フレー
ム数は、ストリーム先頭から対象となっているパケット
までの累積フレーム数(AAU数)を意味する。ステッ
プ203では、既に読み込まれている頭出し再生用テー
ブルファイルの1レコードを、レコード記憶バッファに
読み込む。ステップ204では、現レコード記憶バッフ
ァ中のビデオ・オーディオ識別子をチェックし、オーデ
ィオ頭出し再生用レコードであるか否かを判定する。オ
ーディオ頭出し再生用レコードではなかった場合には、
ステップ203に戻り、テーブル中の次のレコードを、
レコード記憶バッファに読み込む。ステップ204にお
いて、オーディオ頭出しレコードあると判定された場合
には、ステップ205に移る。ステップ205では、レ
コード記憶バッファ中の累積フレーム数とパケット内フ
レーム数より、パケット内に存在するフレームの範囲を
求め、これをパケット内フレーム範囲とする。ステップ
206では、再生開始フレーム番号とパケット内フレー
ム範囲を比較し、指定された再生開始フレームがパケッ
ト内にあるか否かを判定する。パケット内にないと判定
された場合は、ステップ203に戻り、テーブルファイ
ルの次のレコードを読み込む。ステップ206におい
て、指定された再生開始フレームがパケット内にあると
判定された場合には、ステップ207においてレコード
記憶バッファ中のレコードを参照レコードとし、ステッ
プ208においてこのレコードを出力する。このような
流れで、テーブルファイル中の参照レコードを決定す
る。
【0056】表2のMPEGシステムストリーム頭出し
再生用テーブルファイルの例を用いて、50フレーム目
からのオーディオ頭出し再生を行う際のテーブルファイ
ル中の参照レコード決定過程を説明する。表2のテーブ
ルファイル中のビデオ・オーディオ識別子の値が1、す
なわちオーディオ頭出し再生用レコードのみに注目し、
ビデオ用頭出しレコードは読み飛ばす。テーブルファイ
ルを上から順に見ていき、累積フレーム数が50以上に
なるレコードを探す。表2の場合は、上から5番目のレ
コードである。このレコードのパケット内フレーム数は
13、累積フレーム数は53、ストリーム先頭からパッ
クヘッダまでの絶対オフセットバイト数は123138
バイト、パックヘッダからパケットヘッダまでの相対オ
フセットバイト数は4108バイトである。これは、シ
ステムストリームを123138バイトシークすると、
パックヘッダコードがあり、さらにそこから4108バ
イトシークした位置にパケットヘッダがあり、そのパケ
ット内には、41番目から53番目のフレーム存在する
ことを意味する。従って、そのパケット内に存在する5
0フレーム目のフレームからデコード・再生を行えばよ
い。
【0057】図2のMPEGシステムストリーム対応の
頭出しテーブル作成装置で作成した頭出し再生用テーブ
ルと、図3のデコード情報読み出し装置を用いると、指
定されたフレームから動画像を再生するために復号を開
始すべきストリーム位置を高速に決定できる。そして、
図3のデコード情報読み出し装置を圧縮動画像復号・表
示装置に組み込むことにより、任意フレームからの高速
頭出し再生が可能な圧縮動画像復号・表示装置を実現で
きる。
【0058】図6は、MPEGビデオストリーム対応の
圧縮動画像復号・表示装置の構成図である。これは、再
生区間記憶手段、デコード情報読み取り部、デコード情
報記憶手段、ストリーム送出手段、ビデオ復号手段から
構成される。ただし、これらの各部、各手段を制御する
全体制御手段、復号されたフレーム画像を映像信号に変
換する手段等は省略している。(以下の図に関しても同
様。)図6中の各部について順に説明する。401は、
外部から入力される再生開始フレーム番号、および、再
生終了フレーム番号を記憶する再生区間記憶手段であ
る。402は、予め作成してある頭出し再生用テーブル
ファイルを読み込み、このテーブルを利用して、再生開
始フレーム番号のフレームから動画を再生する際に必要
なデコード情報を出力するデコード情報読み取り部であ
る。このデコード情報読み取り部402は、図3のデコ
ード情報読み取り装置とほぼ同じ構成であり、ビデオ再
生開始番号記憶手段403、テーブル参照手段404、
レコード記憶手段405から構成されている。406
は、デコード情報読み取り部から出力されるデコード情
報と再生区間記憶情報に記憶されている再生開始・終了
フレーム番号とをデコード情報として記憶し、復号処理
を制御するデコード情報記憶手段である。407は、デ
コード情報記憶手段406のデコード情報に基づいてM
PEGビデオストリームをシークした後に、ストリーム
を送出するストリーム送出手段である。408は、デコ
ード情報記憶手段より受け取ったデコード情報に基づ
き、ストリーム送出手段407から送られてくるストリ
ームを復号し、再生開始フレームに到達したら表示を開
始し、さらに、再生終了フレームに到達したら復号・表
示を終了するビデオ復号手段である。
【0059】以上のような構成のMPEGビデオストリ
ーム対応の圧縮動画像復号・表示装置の動作について説
明する。まず、外部から入力されてくる再生開始フレー
ム番号・再生終了フレーム番号が再生区間記憶手段40
1に記憶される。そして、再生開始フレーム番号がデコ
ード情報読み取り部402に出力され、再生開始・終了
フレーム番号がデコード情報記憶手段に出力される。デ
コード情報読み取り部402は、再生開始フレーム番号
を受け取ると頭出し再生用テーブルを参照して、指定フ
レームからの頭出し再生に必要なGOPコードまでの累
積フレーム数、ストリーム先頭からGOPコードまでの
オフセットバイト数の2種類の数値を読み取り、これを
デコード情報として出力する。なお、このデコード情報
読み取り部の動作の詳細は、表1を用いて説明済みであ
る。デコード情報記憶手段406は、再生区間記憶手段
401から送られてきた再生開始・終了フレーム番号
と、デコード情報読み取り部402から送られてきたG
OPコードまでの累積フレーム数から算出したデコード
開始フレーム番号と、デコード情報読み取り部402か
ら送られてきたストリーム先頭からGOPコードまでの
オフセットバイト数の計4種類の数値をデコード情報と
して記憶する。デコード情報記憶手段406は、再生開
始・終了フレーム番号が同じ値の場合はフレーム静止画
像復号命令と判定し、再生開始・終了フレーム番号が異
なる値の場合は区間指定動画再生命令と判定し、再生開
始フレーム番号が設定され、再生終了フレーム番号が不
定の場合は頭出し再生命令と判定した上で、ストリーム
送出手段407とビデオ復号手段408を制御する。ス
トリーム送出手段407は、デコード情報記憶手段40
6に記憶されているGOPコードまでのオフセットバイ
ト数分だけMPEGビデオストリームをシークした後
に、ビデオ復号手段に送出する。このストリームは必ず
GOPから始まっているので、ビデオ復号手段408
は、受け取ったストリームの先頭から復号を開始する。
そして、デコード開始フレーム番号からカウントを始
め、再生開始フレーム番号に到達したら表示を開始し、
再生終了フレーム番号に到達するか、ストリーム終端に
到達したら復号・表示を終了する。ただし、再生開始・
終了フレーム番号が同じ値の場合は、そのフレーム番号
のフレーム静止画像データを出力する。また、ビデオ復
号手段は、復号中のフレームのフレーム番号、表示中の
フレームのフレーム番号や、復号・表示状況を示す信号
(復号開始・終了等を示す)を、デコード情報記憶手段
に出力する。さらに、必要に応じてデコード情報記憶手
段406に記憶されているデコード情報を外部に出力す
ることも可能である。
【0060】このように、図6のような構成のMPEG
ビデオストリーム対応の圧縮動画像復号・表示装置で
は、予め作成されている頭出し再生用テーブルファイル
を用いることにより、任意指定フレームからの高速頭出
し再生、任意指定フレームのフレーム静止画像の高速復
号が可能である。また、図1の頭出し再生用テーブル作
成装置を別に用意するのではなく、この装置と同等の機
能を持つ頭出し再生用テーブル作成部を図6の圧縮動画
像復号・表示装置の内部に組み込んでも良い。
【0061】(実施の形態2)図7は、MPEGシステ
ムストリーム対応の圧縮動画像復号・表示装置の構成図
である。図7は、(実施の形態1)で説明した図6のM
PEGビデオストリーム対応の圧縮動画像復号・表示装
置とほとんど同じ構成であり、ビデオストリームとシス
テムストリームの違いに伴って、オーディオ復号部手段
が追加されているだけである。そこで、図6と構成・動
作が異なる点のみを説明する。
【0062】図7のMPEGシステムストリーム対応の
圧縮動画像復号・表示装置は、再生区間記憶手段50
1、デコード情報読み取り部502、デコード情報記憶
手段506、ストリーム送出手段507、ビデオ・オー
ディオ同期再生部508から構成される。さらに、ビデ
オ・オーディオ同期再生部508は、同期手段509、
オーディオ復号手段510、ビデオ復号手段511から
構成されている。オーディオ復号手段510は、ストリ
ーム送出手段507から送出されてきたオーディオスト
リームを読み込み、適当な位置までシークした後に、デ
コード・再生を行なう。ビデオ復号手段511は、スト
リーム送出手段507から送出されてきたビデオストリ
ームを読み込み、GOPコードを検出した後にデコード
を開始し、再生開始フレームに到達したら表示を開始す
る。同期手段509は、オーディオ復号手段510とビ
デオ復号手段511の同期をとる。
【0063】この圧縮動画像復号・表示装置は、MPE
Gシステムストリーム対応であるので、図3の頭出し再
生用テーブル作成装置により作成した頭出し再生用テー
ブルファイルを使用する。このテーブルを使用すると、
ビデオフレームを基準とした頭出し再生、オーディオフ
レームを基準とした頭出し再生の両方が可能であるが、
ここではビデオフレームを基準とした頭出し再生を説明
する。デコード情報記憶手段506に記憶される情報
は、再生区間記憶手段501から出力される再生開始・
終了フレーム番号と、デコード情報読み取り部502か
ら出力されるパケット内フレーム数および累積フレーム
数から算出したデコード開始フレーム番号、デコード情
報読み取り部502から出力されるストリーム先頭から
パックヘッダまでの絶対オフセットバイト数、パックヘ
ッダからパケットヘッダまでの相対オフセットバイト数
である。デコード情報記憶手段506は、再生開始・終
了フレーム番号が同じ値の場合はフレーム静止画像復号
命令と判定し、再生開始・終了フレーム番号が異なる値
の場合は区間指定動画再生命令と判定し、再生開始フレ
ーム番号が設定され、再生終了フレーム番号が不定の場
合は頭出し再生命令と判定した上で、ストリーム送出手
段とビデオ復号手段を制御する。デコード情報記憶手段
506からストリーム送出手段507へは、ストリーム
先頭からパックヘッダまでの絶対オフセットバイト数、
および、パックヘッダからパケットヘッダまでの相対オ
フセットバイト数が送られる。ストリーム送出手段50
7は、まずパックヘッダまでストリームをシークし、パ
ックヘッダに記載されている情報を読み取り、これを同
期手段509に出力し、ビデオ・オーディオのシステム
分離開始する。ビデオパケットに関しては、パックヘッ
ダからパケットヘッダまでの相対オフセットバイト数か
ら判定できる(GOPコードを含む)ビデオパケットか
らビデオ復号手段511への送出を開始する。オーディ
オパケットに関しては、システム分離開始以降に検出さ
れたオーディオパケットをすべてオーディオ復号手段5
10に送出する。送出されたビデオストリームはシステ
ム分離がなされたのみであるので、ストリーム先頭は、
必ずしもGOPコードであるとは限らない。そこで、ビ
デオ復号手段511は、送出されてきたビデオストリー
ムをバイト単位で解析し、GOPコードを検出し、検出
したGOPコードから復号処理を開始する。GOP直後
のフレームのフレーム番号は、デコード開始フレーム番
号としてデコード情報記憶手段から知らされているの
で、このフレーム番号よりカウントを開始し、再生開始
フレーム番号に到達したら表示を開始し、再生終了フレ
ーム番号に到達したら復号・表示を終了する。このとき
使用するデコード開始フレーム番号、再生開始・終了フ
レーム番号は、同期手段507を介して、デコード情報
記憶506から取得する。ビデオ復号・表示を行ってい
る最中、オーディオ復号手段は、ビデオ表示開始フレー
ム番号に対応したオーディオフレーム(AAU)を検出
し、そのフレームから復号・再生を開始し、ビデオ再生
終了と同期してオーディオ復号・再生を終了する。ビデ
オとオーディオの同期再生は同期手段507が制御す
る。また、再生開始・終了フレーム番号が同じ値の場
合、ビデオ復号手段は、そのフレーム番号のフレーム静
止画像データを出力する。このときは、ストリーム送出
手段407はオーディオパケットを送出せず、オーディ
オ復号手段は動作しない。また、パックヘッダの情報は
必要としないので、ストリーム先頭からパックヘッダま
での絶対オフセットバイト数とパックヘッダからパケッ
トヘッダまでの相対オフセットバイト数を加算して、そ
のバイト数だけストリームをシークし、その位置にある
GOPコードを含むビデオパケットからシステム分離を
開始しても良い。オーディオ再生を伴わないビデオ再生
時や、厳密なビデオ・オーディオの同期再生が要求され
ない場合も、このようなストリームシーク方法を採用し
ても良い。さらに、必要に応じてデコード情報記憶手段
506に記憶されているデコード情報を外部に出力する
ことも可能である。図中には記載してないが、ビデオ・
オーディオ同期再生部は、復号中のフレームのフレーム
番号、表示中のフレームのフレーム番号や、復号・表示
状況を示す信号(復号開始・終了等を示す)をデコード
情報506に出力し、デコード情報記憶手段506は、
この情報も併せてデコード情報として記憶する。
【0064】このように、図7のような構成のMPEG
システムストリーム対応の圧縮動画像復号・表示装置で
は、予め作成してある頭出し再生用テーブルファイルを
用いることにより、任意指定フレームからの高速頭出し
再生、任意指定フレームのフレーム静止画像の高速復号
が可能である。また、図2の頭出し再生用テーブル作成
装置を別に用意するのではなく、この装置と同等の機能
を持つ頭出し再生用テーブル作成部を図7の圧縮動画像
復号・表示装置の内部に組み込んでも良い。また、オー
ディオフレームを基準とした頭出し再生を行なう場合
は、図3のデコード情報読み取り装置と同等の機能のデ
コード情報読み取り部を用意し、オーディオ再生区間を
入力できるような構成にする。
【0065】(実施の形態3)図8は、インデクス画像
をファイル作成することが可能な圧縮動画像復号・表示
装置の構成図である。この装置は、内部に図6もしくは
図7の圧縮動画像復号・表示装置と同等の機能を持つ頭
出し再生可能圧縮動画像復号・表示部を有する。この装
置は、何らかの方法により動画ストリーム中のシーンの
切れ目を検出した結果を記録してあるシーンチェンジ検
出結果ファイルと、図2の頭出し再生用テーブル作成装
置で作成した頭出し再生用テーブルを利用して、圧縮動
画像ストリーム中から各シーンの先頭の静止画像を復号
し、その静止画群を一つのファイルにまとめて出力する
ものである。このシーン先頭の静止画像は、圧縮動画像
ストリームの検索・閲覧時に、一覧表示されるインデク
ス画像として使用されることを想定している。
【0066】図9は、シーンチェンジ検出結果ファイル
の一例であり、各シーンの先頭フレーム番号と最終フレ
ーム番号を一組として、シーン情報を列挙するフォーマ
ットをとっている。ただし、このシーンチェンジ検出結
果を得る方法は問わない。また、シーンチェンジ検出結
果を記録するフォーマットは、予め定められたものであ
れば、図9以外のものでもかまわない。
【0067】図8のインデクス画像ファイル作成装置
は、シーンチェンジ情報記憶手段、頭出し再生可能圧縮
動画像復号・表示部、フレーム静止画記憶手段、ヘッダ
作成手段、ファイル作成手段から構成される。図6中の
各部について順に説明する。601は、何らかの方法で
動画ストリーム中のシーンの切れ目を検出した結果を記
録してあるシーンチェンジ検出結果ファイルを読み込
み、そのファイルに記載されているシーンチェンジ情報
を記憶し、順次シーン先頭のフレーム番号を再生開始・
終了フレーム番号として出力するシーンチェンジ情報記
憶手段である。602は、MPEGビデオストリームも
しくはMPEGシステムストリームと、そのストリーム
に対応した頭出し再生用テーブルファイルを利用し、シ
ーンチェンジ情報記憶手段から入力されたフレーム再生
区間に応じて、ストリームを復号する頭出し再生可能圧
縮動画像復号・表示部である。603は、頭出し再生可
能圧縮動画像復号・表示部602から出力されたフレー
ム静止画像を縮小もしくは圧縮して一時的に記憶してお
き、順次ファイル作成手段に出力するフレーム静止画像
記憶手段である。604は、頭出し再生可能圧縮動画像
復号・表示部602から出力されるデコード情報から、
インデクス画像ファイルに付加するヘッダ情報を作成
し、これを記憶しておくヘッダ情報作成手段である。6
05は、ヘッダ作成手段604に記録されているヘッダ
情報とフレーム静止画像記憶手段603に記録されてい
るフレーム静止画像データをまとめ、インデクス画像フ
ァイルを作成するファイル作成手段である。
【0068】以上のような構成のインデクス画像作成装
置の動作について説明する。まず、シーンチェンジ情報
記憶手段601にシーンチェンジ検出結果ファイルを読
み込む。ただし、シーンチェンジ検出結果ファイルに記
録されている各シーン先頭のフレーム番号だけ良い。こ
の各シーン先頭のフレーム番号は、頭出し再生可能圧縮
動画像復号・表示部602とデコード情報記憶手段60
3に出力される。ただし、頭出し再生可能圧縮動画像復
号・表示部602へ入力する再生開始フレーム番号およ
び再生開始フレーム番号は、共にシーン先頭フレーム番
号に設定される。頭出し再生可能圧縮動画像復号・表示
部602は、再生開始・終了フレーム番号が同じ値なの
で、そのフレーム番号のフレーム静止画像を復号して出
力し、これと同時にデコード情報をヘッダ作成手段60
4に出力する。この頭出し再生可能圧縮動画像復号・表
示部602は、図6もしくは図7の圧縮動画像復号・表
示装置に相当し、対象とするストリーム種類により使い
分ける。フレーム静止画像記憶手段603は、静止画像
を縮小、もしくはフレーム内圧縮処理を行ない、これを
一時的に記憶しておく。ただし、復号画像をそのまま記
憶してもかまわない。ヘッダ作成手段604は、頭出し
再生可能圧縮動画像復号・表示部602から出力されて
くるデコード情報を利用して、インデクス画像ファイル
のヘッダを作成していく。ファイル作成手段605で
は、フレーム静止画像記憶手段603に記憶されている
フレーム静止画像データを順次同一ファイルに書き込ん
でいく。シーンチェンジ情報記憶手段に記憶されてい
る、すべてのシーン先頭のフレーム番号に関して、以上
のような処理を行ない、最後に、ファイル作成手段60
5が、ヘッダ作成手段410で作成したヘッダ情報をイ
ンデクス画像ファイルに付加して処理を終了する。
【0069】図10は、インデクス画像ファイルの一例
である。この例では、圧縮動画像ストリームから複合し
た各インデクス画像ファイルを適当な大きさに縮小し、
これを一つのファイルにまとめている。各インデクス画
像は、同じサイズあり、画像の幅・高さ、フォーマット
からそのサイズを算出でき、ランダムアクセスが可能に
なっている。インデクス画像フォーマット記述欄には、
予め定めておいたフォーマットタイプを判別するコード
を記述する。また、圧縮動画像ストリーム中のフレーム
数等の情報記述欄を設けている。さらに、必要に応じ
て、各インデクス画像に対応させてシーン先頭・最終の
フレーム番号や、検索用キーワードを書き込む領域等を
設ける。
【0070】図9の装置は、頭出し再生可能圧縮動画像
復号・表示部602を変更すれば、MPEGビデオスト
リーム、MPEGシステムストリームのいずれにも適応
できる。また、この装置は、図6もしくは図7の圧縮動
画像復号・表示装置を応用した例であり、ストリーム中
に含まれる任意のフレーム静止画像を高速に復号できる
構成であることを特徴としている。また、予めインデク
ス画像を作成しておく理由は、閲覧・検索時にインデク
ス画像一覧表示に要する時間を短縮するため、および、
インデクス画像ファイル中の各シーンに検索用キーワー
ドを付加し、ビジュアルな検索手段を提供するためであ
るが、高速な圧縮動画像復号・表示装置があれば、必要
に応じて圧縮動画像ストリームからフレーム静止画像を
復号する方法を採用してもかまわない。
【0071】(実施の形態4)図11は、インデクス画
像一覧表示機能付き圧縮動画像復号・表示装置の構成図
であり、インデクス画像一覧表示手段、再生区間決定手
段、頭出し再生可能圧縮動画像復号・表示部から構成さ
れる。
【0072】図11中の各部について順に説明する。7
01は、ユーザからの命令を受け付け、インデクス画像
表示命令に従いインデクス画像ファイル中のインデクス
画像を読み込み、これを一覧表示するインデクス画像一
覧表示手段である。702は、選択されたインデクス画
像に応じて再生区間を決定する再生区間決定手段であ
る。703は、頭出し再生可能圧縮動画像復号・表示部
である。
【0073】以上のような構成のインデクス画像一覧表
示機能付き圧縮動画像復号・表示装置の動作について説
明する。まず、インデクス画像一覧表示手段701は、
ユーザからの命令に従い、インデクス画像ファイルを読
み込み、インデクス画像を一覧表示する。ユーザは、一
覧表示されているインデクス画像中から一つのインデク
ス画像、もしくは連続した複数のインデクス画像を選択
する。ここでは、ユーザが指定できる動画像再生方法
は、頭出し再生と区間再生の2種類とする。頭出し再生
は、指定したインデクスからの再生を行い、再生停止命
令がかかるか、ストリーム終端まで到達するまで再生を
継続する再生方法であり、区間再生は、指令されたイン
デクス画像に対応したシーンの先頭フレーム番号からシ
ーンの終了フレーム番号までの再生を行なう再生方法で
ある。従って、一つのインデクスを選択した場合は、頭
出し再生か区間再生が可能であり、連続した複数のイン
デクスを選択した場合は、自動的に区間再生となる。ユ
ーザが、インデクス画像選択、再生方法指定を行なう
と、インデクス画像一覧表示手段701は、その指定に
従って再生開始・終了フレームを決定し、それを再生区
間記憶手段に出力する。ただし、インデクス画像ファイ
ルには、各インデクスに対応したシーンの先頭・終了フ
レーム番号情報が記録されているものとする。再生区間
記憶手段702は、記憶している再生開始・終了フレー
ム番号を頭出し再生可能圧縮動画像復号・表示部703
に出力し、頭出し再生可能圧縮動画像復号・表示部70
3は、頭出し再生用テーブルファイルを利用し、圧縮動
画像ストリームの再生を行なう。
【0074】この装置は、図9のインデクス画像作成装
置で作成したインデクス画像ファイルを利用し、ストリ
ーム中に含まれる静止画像群をインデクス画像として一
覧表示し、ユーザが選択したインデクス画像からの圧縮
動画像頭出し再生が可能な構成になっている。圧縮動画
像ストリームは、MPEGビデオストリーム、MPEG
システムストリームのいずれでもかまわない。
【0075】(実施の形態5)図12は、インデクス画
像復号・一覧表示機能付き圧縮動画像復号・表示装置の
構成図であり、シーンチェンジ情報記憶手段、復号制御
手段、頭出し再生可能圧縮動画像復号・表示部、表示内
容制御手段、インデクス一覧表示手段から構成される。
(実施の形態4)の図11のインデクス画像一覧表示機
能付き圧縮動画像復号・表示装置と同じような構成であ
るので、それと異なる点を中心に説明する。
【0076】図12中の各部について順に説明する。8
01は、シーンチェンジ検出結果ファイルを読み込み、
これを記憶して、ユーザから命令に従ってフレーム静止
画像復号命令、もしくは、動画再生命令を発生させるシ
ーンチェンジ情報記憶手段である。802は、フレーム
静止画像復号命令と動画再生命令を区別し、復号処理を
制御する復号制御手段である。803は、頭出し再生可
能圧縮動画像復号・表示部である。804は、フレーム
静止画像復号命令と動画再生命令を区別し、フレーム静
止画表示、インデクス画像一覧表示、動画表示を行なう
表示内容制御手段である。805は、復号されたフレー
ム静止画像を整列して表示するインデクス画像表示手段
である。
【0077】以上のような構成のインデクス画像一覧表
示機能付き圧縮動画像復号・表示装置の動作について説
明する。まず、シーンチェンジ情報記憶手段801は、
シーンチェンジ検出結果ファイルを読み込む。このファ
イルは、圧縮動画像ストリームを複数のシーンに分割
し、各シーンの先頭フレーム番号、最終フレーム番号を
記録したものである。ユーザが、インデクス画像表示命
令を出すと、シーンチェンジ情報記憶手段801は、フ
レーム静止画復号命令と共に、シーンの先頭フレーム番
号を復号制御手段802に出力する。一覧表示するイン
デクス画像は、全シーンの先頭フレームでも、連続する
複数シーンの先頭フレームでもかまわない。1シーンの
先頭フレームの静止画像の復号が終わったことは、頭出
し再生可能圧縮動画像復号・表示部803が出力するデ
コード情報により確認できるので、シーンチェンジ情報
記憶手段801は、1フレームの復号が終わる度に次の
シーンの先頭フレーム番号を出力していく。復号制御手
段802は、シーンチェンジ情報記憶手段からフレーム
番号の出力があると、頭出し再生可能圧縮動画像復号・
表示部803に再生開始・終了フレーム番号を出力し、
頭出し再生可能圧縮動画像復号・表示部803、およ
び、表示内容制御手段804の制御を行なう。この際の
再生開始・終了フレーム番号は、シーン先頭のフレーム
番号とする。頭出し再生可能圧縮動画像復号・表示部8
03は、復号制御手段802からの出力に従い、フレー
ム静止画像を復号し、これを表示内容制御手段804に
出力する。表示内容制御手段804は、フレーム静止画
像データをインデクス画像一覧表示手段805に出力す
る。インデクス画像一覧表示手段は、順次送られてくる
フレーム静止画像を縮小し、これを整列して表示する。
シーンチェンジ情報に従い、シーン先頭の静止画像を復
号し、これを一覧表示すると、インデクス一覧表示手段
805は、動画再生命令受け付け可能状態になる。ユー
ザが、インデクス画像を選択すると、インデクス画像一
覧表示手段805からシーンチェンジ情報記憶手段80
1に選択されたインデクス画像に関する情報が出力され
る。この情報は、選択されたインデクス画像とシーンチ
ェンジ情報中のシーンとを結びつけるためのものであ
る。シーンチェンジ情報記憶手段801は、シーンチェ
ンジ情報と選択された再生方法(頭出し再生、もしくは
区間再生)を参照して再生開始・終了フレーム番号を決
定し、動画再生命令を復号制御手段802に出力する。
復号制御手段802は、頭出し再生可能圧縮動画像復号
・表示部803に再生開始・終了フレーム番号を出力
し、頭出し再生可能圧縮動画像復号・表示部803、お
よび、表示内容制御手段804の制御を行なう。頭出し
再生可能圧縮動画像復号・表示部803は、復号制御手
段802からの出力に従い、ストリームを復号し、再生
開始フレームから再生終了フレームまでのデータを表示
内容制御手段804に出力していく。表示内容制御手段
804は、受け取った復号データを動画として表示す
る。
【0078】この装置は、予めインデクス画像ファイル
を作成する必要がなく、圧縮動画像ストリーム中のシー
ン情報が記録されているシーンチェンジ検出結果ファイ
ルを使用して、ストリーム中のシーン先頭画像を復号
し、これをインデクス画像として一覧表示する機能を持
ち、さらに任意のインデクス画像からの頭出し再生が可
能であることを特徴とし、頭出し再生可能圧縮動画像復
号・表示部803を変更することにより、MPEGビデ
オストリーム、MPEGシステムストリームのいずれに
も対応できる。説明中では省略したが、MPEGシステ
ムストリームを対象とする場合は、ビデオ再生に同期し
て、オーディオの再生も同時に行うことができる。ま
た、インデクス画像に対応して、オーディオのみの復号
・再生を行なう機能を付加しても良い。さらに、頭出し
再生可能圧縮動画像復号・表示部803をMPEGビデ
オストリーム、および、MPEGシステムストリームの
両方に対応できるものと置き換えてもかまわない。その
場合は、図6および図7の圧縮動画像復号・表示装置の
機能を組み合わせた、頭出し再生可能圧縮動画像復号・
表示部となる。
【0079】(実施の形態6)図13は、インデクス画
像を編集するための圧縮動画像簡易編集装置である。
(インデクス画像を編集することも簡易編集であると定
義している。)(実施の形態5)で説明した圧縮動画像
復号・表示装置は、シーンチェンジ検出結果ファイルに
記録されている情報を用いて、圧縮動画像ストリームか
ら各シーンの先頭フレームの静止画像を復号し、これを
一覧表示することが可能である。その際用いるシーンチ
ェンジ検出結果ファイルは、何らかの方法により映像の
内容が変化する部分を検出し、複数のシーンに分割した
結果を記録したものである。この作業を人手を介して行
なうには大きな労力を必要とするので、これまでに、さ
まざまな自動シーンチェンジ検出方法が開発されてい
る。しかし、それらは映像の内容を理解した上でのシー
ン分割ではないので、精度的に不十分な面がある。図1
3の圧縮動画像簡易編集装置は、自動シーンチェンジ検
出の不備を補い、シーンチェンジ結果ファイルを編集し
て、ユーザにより適切なインデクス情報を提供するため
のものである。
【0080】図13の圧縮動画像簡易編集装置は、(実
施の形態5)で説明した圧縮動画像復号・表示装置の構
成と重複する部分が多いため、それと異なる点を中心に
説明する。図13の圧縮動画像簡易編集装置は、フレー
ム番号算出手段901、シーンチェンジ情報記憶手段9
02、シーンチェンジ情報編集手段903、復号制御手
段904、頭出し再生可能圧縮動画像復号・表示部90
5、表示内容制御手段906、再生フレーム情報記憶手
段907、インデクス画像一覧表示手段908、再生区
間決定手段909から構成される。また、図中からは、
動画再生を制御する動画再生制御手段が省略されてい
る。この動画再生制御手段は、ユーザからの動画像の再
生・停止・一時停止等の命令を受け付け、圧縮動画像の
復号・再生を制御するためのものである。
【0081】フレーム番号算出手段901は、ユーザか
らの詳細フレーム画像表示命令を受け付け、その命令に
対応した、フレーム番号を算出し、フレーム静止画像復
号命令を発生させるものである。ここで、詳細フレーム
画像とは、指定されたフレーム番号から始まる連続した
フレーム画像、もしくは指定されたフレーム番号から始
まり等間隔で間引いたフレーム画像を一覧表示したもの
である。これは、インデクス画像を変更・追加する際
に、新たなインデクス画像を選択しやすくするための機
能である。これと同様な理由で、順方向・逆方向のコマ
送り再生機能等を頭出し再生可能圧縮動画像復号・表示
部905を付加しても良い。復号制御手段904は、再
生開始・終了フレーム番号を入力してくる手段を判別
し、それに応じてフレーム静止画像復号命令もしくは動
画再生命令を発生させる。再生フレーム情報記憶手段9
07は、頭出し再生可能圧縮動画像復号・表示部905
から出力されてくるデコード情報に含まれる再生中のフ
レーム番号を記憶しておく。インデクス画像一覧表示手
段908は、インデクス画像の一覧表示だけでなく、詳
細フレーム画像の一覧表示も行なう。シーンチェンジ情
報編集手段903は、ユーザからのインデクス画像編集
命令に従い、シーンチェンジ情報を編集し、その結果を
シーンチェンジ情報記憶手段902と、一覧表示中のイ
ンデクス画像に反映される。その際、新たなインデクス
画像、削除されたインデクス画像のフレーム番号は、再
生フレーム情報記憶手段907、もしくは、再生区間決
定手段909から取得する。また、シーンチェンジ情報
編集手段は、各シーン毎に、検索用キーワードを登録す
る機能も持つものとする。
【0082】ユーザからの編集命令は、インデクス画像
の削除・変更・追加の3種類がある。ユーザは、インデ
クス画像を削除したい場合は、一覧表示されているイン
デクス画像から一つのインデクス画像を選択した後に、
インデクス削除命令を送る。このとき、シーンチェンジ
情報編集手段903は、削除されたインデクス画像に対
応したシーン情報と、その一つ前のシーン情報を統合す
る。インデクス画像を追加したい場合は、一覧表示され
ている詳細フーレム画像から一つのフレーム画像を選択
したり、再生されている動画像を適当なところで一時停
止する等の手段で、追加するフレーム静止画像を決定し
た後に、インデクス追加命令を送る。このとき、シーン
チェンジ情報編集手段903は、追加されたフレーム画
像を含むシーン情報を、追加されたフレームを境界とし
て二つに分割する。インデクス画像変更は、シーン境界
の変更を意味し、削除・追加を組み合わせになる。ただ
し、これらの操作を行うための適当なGUIがユーザに
提供されるものとする。
【0083】図14は、インデクス画像編集に伴って、
シーンチェンジ検出結果ファイルが修正される様子を示
したものである。元のシーンチェンジ検出結果ファイル
では、シーンAからシーンJの10個のシーンがある。
これを編集し、シーンBおよびシーンEを削除し、シー
ンD,Fの境界を変更し、シーンHを分割し、シーン
x、シーンyを追加している。図15は、編集されたシ
ーンチェンジ検出結果ファイルの例であり、各シーンの
開始フレーム、終了フレームに続き、登録された検索用
キーワードが記録されている。このキーワードは、シー
ン検索のために使用される。
【0084】(実施の形態7)図16は、圧縮動画像簡
易編集装置である。簡易編集とは、編集結果を新たな圧
縮動画ストリームとして保存するのではなく、編集情報
のみを記録したファイルを作成する編集方法を意味す
る。きめの細かい編集には適さないが、複数の圧縮動画
像ストリーム中に散在する比較的長めのシーンの順序を
変更して再生する場合等には有効であると考えられる。
再生時には、簡易編集結果が記録されている簡易編集情
報ファイルを読み込み、そのファイルに記録されている
ストリームファイル名、シーン開始・終了フレーム番号
(すなわち再生区間)を順次読みとって、圧縮動画像ス
トリームの区間再生を繰り返すことになる。
【0085】図16の圧縮動画像簡易編集装置は、図1
3のインデクス画像を編集するための圧縮動画像簡易編
集装置とほぼ同じ構成をしているので、異なる点を中心
に説明する。図16の装置は、フレーム番号算出手段1
001、シーンチェンジ情報記憶手段1002、シーン
チェンジ情報編集手段1003、復号制御手段100
4、頭出し再生可能圧縮動画像復号・表示部1005、
表示内容制御手段1006、再生フレーム情報記憶手段
1007、インデクス一覧表示手段1008、再生区間
決定手段1009、簡易編集部1010から構成され
る。このうち、簡易編集部は、編集結果表示手段101
1、簡易編集情報ファイル作成手段1012から構成さ
れる。図13の装置とは、簡易編集部1010が追加さ
れている点が異なる。
【0086】簡易編集作業時は、主に、図16中の簡易
編集部1010、インデクス画像一覧表示手段100
8、再生区間決定手段1009が動作する。外部から入
力される編集命令は、インデクス画像一覧表示手段10
08、簡易編集情報ファイル作成手段1012に伝えら
れる。編集命令は、再生区間インデクス画像選択命令と
再生区間インデクス画像整列命令がある。再生区間イン
デクス画像選択命令は、再生したいシーンに相当するイ
ンデクス画像を選択する命令である。ここで、選択され
たインデクス画像を再生区間インデクス画像と呼ぶこと
にする。再生区間インデクス画像整列命令は、複数の再
生区間インデクス画像の再生順序を決定する命令であ
る。
【0087】次に、図16の装置の簡易編集時の動作に
ついて説明する。編集結果表示手段1011は、インデ
クス画像一覧表示手段1008により一覧表示されてい
るインデクス画像群から選択されたインデクス画像を複
製し、これを再生区間インデクス画像として新たな表示
領域(ウィンドウ)に表示する。再生区間インデクス画
像が選択されると、再生区間決定手段1009は、その
インデクス画像に対応したシーン再生開始・終了フレー
ム番号を求め、これを簡易編集情報ファイル作成手段1
012に出力する。再生区間インデクス画像は複数個選
択可能であり、選択された複数の再生区間インデクス画
像は、再生順序に従って、整列されて一覧表示される。
また、再生区間インデクス画像の整列順序は変更可能で
あり、再生区間インデクス画像の整列順序(すなわち再
生順序)に関する情報は、簡易編集情報ファイル作成手
段1012に出力される。整列順序の変更や、再生区間
インデクス画像の追加・削除には、適当なGUIを提供
するものとする。簡易編集情報作成手段1012は、再
生区間決定手段1009から出力される再生開始・終了
フレーム番号と、編集結果表示手段1011から出力さ
れてくる再生順序に関する情報を基にして、簡易編集情
報ファイルを作成する。この際、検索用キーワードやシ
ーンタイトルが登録された場合には、これらを簡易編集
情報ファイルに追加する。このように、図16の圧縮動
画像簡易編集装置は、インデクス画像自体の修正に加
え、再生したい複数のシーンを所望の順序で再生するた
めの簡易編集情報ファイルを作成できる。
【0088】図17は、簡易編集の概念図である。ユー
ザ(編集者)には、インデクス画像一覧表示ウィンドウ
と、簡易編集ウィンドウが提示されている。ユーザが、
マウス等を使用して、再生したいシーンに相当するイン
デクス画像をクリックすると、インデクス画像が複製さ
れるので、複製されたインデクス画像を簡易編集ウィン
ドウにドロップする。この作業を繰り返し、簡易編集ウ
ィンドウ中の再生区間インデクス画像を所望の順序に並
べ替える。並べ替え作業もマウスで行えるものとする。
図16の圧縮動画像簡易編集装置は、インデクス画像自
体の修正機能もあるので必要に応じて、これを利用す
る。さらに、動画再生ウィンドウを用意すれば、簡易編
集結果を確認しながら作業が行なえる。
【0089】図18は、簡易編集結果ファイルの例であ
り、図17に対応している。図18の左側は、シーンチ
ェンジ検出結果ファイルである。このファイル従って、
一覧表示された、シーンAからシーンOまでのインデク
ス画像中から、ユーザが、シーンA,M,J,K,Dの
インデクス画像を選択し、この順序での再生を希望した
場合には、図18の右側に示したような簡易編集情報フ
ァイルが作成される。この例では、各シーンに対応し
て、検索用キーワードやシーンタイトルが付加されてい
る。
【0090】図16の圧縮動画像簡易編集装置を拡張す
ることにより、複数の圧縮動画像ストリームのシーンを
含む簡易編集情報ファイルを作成することも可能であ
る。図19は、複数ファイルを一度に編集する場合の簡
易編集の概念図であり、図20は、それに対応した簡易
編集結果ファイルの例である。この場合、ユーザには、
編集対象の圧縮動画像ストリームの個数分のインデクス
画像一覧表示ウィンドウと、一個の簡易編集ウィンドウ
が提示される。ユーザは、複数の圧縮動画像ストリーム
中の複数のインデクス画像を自由に選択し、その再生順
序を決定する。作成される簡易編集情報ファイルには、
各シーンの開始・終了フレーム番号と検索用キーワード
と共に、圧縮動画像ストリームファイル名が記録され
る。
【0091】また、再生区間インデクス画像を縮小(ま
たは圧縮)して一つにまとめ、これに簡易編集情報をヘ
ッダとして付加して、簡易編集情報付きインデクス画像
ファイルを作成しても良い。この簡易編集情報付きイン
デクス画像ファイルを利用すれば、各シーンの先頭画像
を高速に復号・表示し、ユーザへの応答時間を短縮する
ことが可能である。
【0092】(実施の形態8)図21は、簡易編集情報
ファイルに基づく圧縮動画像復号・表示装置である。こ
の装置の構成は、図12のインデクス画像復号・一覧表
示機能付き圧縮動画像復号・表示装置とほぼ構成をして
いるので、これと異なる点を中心に説明する。図21の
装置は、簡易編集情報記憶手段1101、ファイル管理
手段1102、復号制御手段1103、頭出し再生可能
圧縮動画像復号・表示部1104、表示内容制御手段、
1105、インデクス画像一覧表示手段1106から構
成される。図12の装置とは、読み込むファイルが、シ
ーンチェンジ検出結果ファイルではなく、簡易編集情報
ファイルである点が異なる。この簡易編集情報ファイル
には、複数の圧縮動画像ストリームのシーンが含まれる
ため、圧縮動画像ストリームおよびその付属ファイルを
管理するファイル管理手段が追加されている。
【0093】まず、簡易編集情報記憶手段1101は、
簡易編集情報ファイルを読み込み、シーンに対応した動
画像ファイル名をファイル管理情報に出力する。これに
応じて、フィアル管理手段は、要求された圧縮動画像ス
トリームおよび、頭出し再生用テーブルファイルにアク
セス可能な状態になる。ただし、圧縮動画像ストリーム
ファイル名から、そのストリームに対応した頭出し再生
用テーブルファイル名は特定できるものとする。また、
簡易編集情報記憶手段1101は、フレーム静止画像復
号命令と各シーンの再生開始・終了フレーム番号を復号
制御手段1103に出力する。一フレームの復号が終了
したことは、頭出し再生可能圧縮動画像復号・表示部1
104が出力するデコード情報により確認できる。この
処理を簡易編集情報中のシーン数だけ順次繰り返すと、
各シーンの先頭フレームの静止画像がインデクス画像と
して一覧表示される。そして、この一覧表示されている
インデクス画像から、一つのインデクス画像が選択され
ると、選択されたインデクス画像を特定する情報が、簡
易編集情報記憶手段に出力される。すると、簡易編集情
報記憶手段は、動画再生命令と選択されたインデクス画
像に対応したシーンのの再生開始・終了フレーム番号を
復号制御手段1103に出力する。ただし、動画再生命
令には、頭出し再生命令と区間再生命令があり、これ
は、ユーザによって選択される。これ以降は、図12の
装置と同様の過程で経て、インデクス画像からの動画再
生が行なわれる。
【0094】このように、図21の圧縮動画像復号・表
示装置は、簡易編集情報ファイルに基づいた複数圧縮動
画像ストリームに散在する複数シーンを連続して復号・
表示することが可能で、かつ、各シーンの先頭フレーム
を一覧表示したインデクス画像からの復号・表示の可能
である。
【0095】(実施の形態9)図22は、キーワード検
索機能付き圧縮動画像復号・表示装置である。この装置
の構成は、図21の簡易編集情報ファイルに基づく圧縮
動画像復号・表示装置とほぼ構成をしているので、これ
と異なる点を中心に説明する。図22の装置は、キーワ
ード検索手段1201、ファイル管理手段1202、シ
ーンチェンジ情報記憶手段1203、復号制御手段12
04、頭出し再生可能圧縮動画像復号・表示部120
5、表示内容制御手段1206、インデクス画像一覧表
示手段1207から構成される。ファイル管理手段12
02は、圧縮動画像ストリームと、その付属ファイルを
管理する。キーワード検索手段1201は、外部から入
力されるストリーム検索用キーワード、シーン検索用キ
ーワードにより、キーワード検索を行ない、検索結果を
表示する。この検索結果は、ストリーム名、シーンフレ
ーム数等のテキストベースの情報に加え、シーン先頭フ
レームの静止画像等も含まれる。このキーワード検索
は、キーワード登録領域を持つファイルを直接検索する
方法でも良いし、全ファイルの全キーワードを一括管理
しているキーワード管理ファイルを検索する方法でも良
い。検索結果はユーザに提示され、シーンチェンジ情報
記憶手段に記憶される。そして、このシーンチェンジ情
報により、ストリーム中のシーン先頭フレームをインデ
クス画像として一覧表示する。ユーザは、一覧表示され
ているインデクス画像から、再生を希望するインデクス
画像を選択すれば、すぐさま検索結果を動画として確認
できる。図22の装置は、圧縮動画像ストリーム単位の
キーワードのみでなく、シーン単位のキーワードによる
検索が可能であり、検索結果をビジュアルに提示できる
ことを特徴とする。また、図中では、簡易編集情報ファ
イルを記載していないが、このファイルも含めたキーワ
ード検索、インデクス画像一覧表示、動画再生を行える
ようにしても良い。
【0096】(実施の形態10)図23および図24
は、クライアント・サーバ型圧縮動画像復号・表示装置
である。図23がサーバ装置であり、図24がクライア
ント装置である。この装置は、基本的には、図22のキ
ーワード検索機能付き圧縮動画像復号・表示装置と同じ
構成をしている。大きく異なる点は、クライアント・サ
ーバ型の構成にしたため、頭出し再生可能圧縮動画像復
号・表示部が二つに分割されている点である。サーバ装
置は、頭出し再生要求に応じてストリームをシークした
上で、デコード情報と共に、ストリームをクライアント
側に送出する。クライアント装置は、デコード情報に基
づいて受信したストリームの復号・表示を行なう。
【0097】図23のサーバ装置は、キーワード検索手
段1301、ファイル管理手段1302、ストリーム送
信部1303、シーンチェンジ情報記憶手段1308、
命令判別手段1309から構成される。このうち、スト
リーム送信部1303は、再生区間記憶手段1304、
デコード情報読み取り部1305、デコード情報記憶手
段1306、ストリーム送出手段1307から構成さ
れ、図7の圧縮動画像復号・表示装置からビデオ・オー
ディオ同期再生部を除いたものと一致する。また、13
09は、クライアントからの命令を判別し、キーワード
検索手段1301とシーンチェンジ情報記憶手段130
8を制御し、クライアントからの命令に対して応答する
ものである。サーバ側通信制御手段1310は、クライ
アントとの通信を制御するもので、クライアントからの
命令を受信し、これに応じて圧縮動画像ストリーム等を
送信する。
【0098】一方、図24のクライアント装置は、命令
送信制御手段1401、復号制御手段1402、ビデオ
・オーディオ同期再生部1403、表示内容制御手段1
404、インデクス画像一覧表示手段1405、クライ
アント側通信制御手段1406から構成される。このう
ち、ビデオ・オーディオ同期再生部1403は、図7の
圧縮動画像復号・表示装置のビデオ・オーディオ同期再
生部と同じものである。また、命令送信制御手段140
1は、ユーザからの検索命令、インデクス画像表示命
令、動画再生命令等を判別し、これに応じてサーバ側に
命令を送信するものである。クライアント側通信制御手
段1406は、サーバとの通信を制御するもので、サー
バへ命令を送信し、圧縮動画像ストリーム等を受信す
る。
【0099】図23のサーバ装置と図24のクライアン
ト装置を組み合わせることにより、図22のキーワード
検索機能付き圧縮動画像復号・表示装置と、同等に機能
を発揮できる。このクライアント・サーバ型圧縮動画像
復号・表示装置の特徴は、ストリーム途中からのフレー
ム指定頭出し再生時や、圧縮動画ストリーム中に含まれ
るフレーム静止画像の復号時に、復号を開始すべきスト
リーム位置検出した上で、ストリームを送出することに
ある。上の説明ではMPEGシステムを対象としたが、
装置構成を一部変更するだけで、MPEGビデオストリ
ームに対応できる。また、MPEGビデオストリーム、
MPEGシステムストリームの両方に対応できるよう装
置構成を変更しても良い。
【0100】
【発明の効果】以上のように本発明の圧縮動画像復号・
表示装置は、予め作成してある頭出し再生用テーブルフ
ァイルを利用するので、動画像符号化方式の国際標準で
あるMPEGのように指定フレームからの高速頭出し再
生が困難な圧縮された圧縮動画像ストリームの高速な頭
出し再生が可能であるという作用を有する。また、本発
明の圧縮動画像復号・表示装置、および、圧縮動画像簡
易編集装置は、ストリーム中のシーン先頭画像をインデ
クス画像として一覧表示する機能を提供し、ユーザが希
望したシーンのみを即座に再生できるという作用と、編
集結果としての新たな圧縮動画像ストリームを作成する
ことなく、編集結果のみを記録したファイルを作成し、
このファイル基づいた動画再生が可能であるという作用
を有する。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態のMPEGビデオス
トリーム頭出し再生用テーブルファイル作成装置を示す
【図2】同第1の実施の形態のMPEGシステムストリ
ーム頭出し再生用テーブルファイル作成装置を示す図
【図3】同第1の実施の形態のデコード情報読み取り装
置を示す図
【図4】同第1の実施の形態のMPEGシステムストリ
ームのビデオ頭出し再生用レコード決定過程のフローチ
ャート
【図5】同第1の実施の形態のMPEGシステムストリ
ームのオーディオ頭出し再生用レコード決定過程のフロ
ーチャート
【図6】同第1の実施の形態のインデクス画像ファイル
作成可能な圧縮動画像復号・表示装置を示す図
【図7】同第2の実施の形態のシーンチェンジ検出結果
ファイルの一例を示す図
【図8】同第3の実施の形態のインデクス画像ファイル
フォーマットの一例を示す図
【図9】同第3の実施の形態の圧縮動画像復号・表示装
置(MPEGビデオストリーム)を示す図
【図10】同第3の実施の形態の圧縮動画像復号・表示
装置(MPEGシステムストリーム)を示す図
【図11】同第4の実施の形態のインデクス画像一覧表
示機能付き圧縮動画像復号・表示装置を示す図
【図12】同第5の実施の形態のインデクス画像復号・
一覧表示機能付き圧縮動画像復号・表示装置を示す図
【図13】同第6の実施の形態のインデクス画像編集が
可能な圧縮動画像簡易編集装置を示す図
【図14】同第6の実施の形態のインデクス画像編集の
概念図
【図15】同第6の実施の形態の検索用キーワード付き
シーンチェンジ情報ファイルを示す図
【図16】同第7の実施の形態の圧縮動画像簡易編集装
置を示す図
【図17】同第7の実施の形態の簡易編集の概念図(単
一ファイル)を示す図
【図18】同第7の実施の形態の簡易編集結果ファイル
(単一ファイル)を示す図
【図19】同第7の実施の形態の簡易編集の概念図(複
数ファイル)
【図20】同第7の実施の形態の簡易編集結果ファイル
(複数ファイル)を示す図
【図21】同第8の実施の形態の簡易編集ファイルに基
づく圧縮動画像復号・表示装置を示す図
【図22】同第9の実施の形態のキーワード検索機能付
き圧縮動画像復号・表示装置を示す図
【図23】同第10の実施の形態のクライアント・サー
バ型圧縮動画像復号・表示装置のサーバ部を示す図
【図24】同第10の実施の形態のクライアント・サー
バ型圧縮動画像復号・表示装置のクライアント部を示す
【符号の説明】
401 再生区間記憶手段 402 デコード情報読み取り部 403 ビデオ頭出し再生開始番号記憶手段 404 テーブル参照手段 405 レコード記憶手段 406 デコード情報記憶手段 407 ストリーム送出手段 408 ビデオ復号手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 金森 克洋 神奈川県川崎市多摩区東三田3丁目10番1 号 松下技研株式会社内

Claims (27)

    【特許請求の範囲】
  1. 【請求項1】 指定された圧縮動画像ストリームの再生
    開始及び終了フレーム番号を記憶し、これを出力する再
    生区間記憶手段と、予め作成してある頭出し再生用テー
    ブルを参照して、頭出し再生に必要な情報を読み出し、
    これを出力するデコード情報読み取り手段と、前記再生
    区間記憶手段の出力及び前記デコード情報読み取り手段
    の出力とをデコード情報として記憶するデコード情報記
    憶手段と、前記デコード情報に基づいて圧縮動画像スト
    リームをシークし、その位置からストリーム送出を開始
    するストリーム送出手段と、前記ストリーム送出手段か
    ら送出されてくる圧縮動画像ストリームを前記デコード
    情報に従って復号し、再生開始フレームに達したら映像
    表示を開始し、さらに、再生終了フレームに達したらデ
    コード・映像表示を終了する機能、および、再生開始及
    び終了フレームが同じ値の場合はフレーム静止画像を出
    力する機能を持つビデオ復号手段を具備する圧縮動画像
    復号・表示装置。
  2. 【請求項2】 頭出し再生用テーブルが、圧縮動画像ス
    トリーム中に含まれるランダムアクセスの基準となるコ
    ードのすべてに関して、ストリーム先頭からそのコード
    までのオフセットバイト数及びそのコード直前までの累
    積フレーム数を記録したものであることを特徴とする請
    求項1記載の圧縮動画像復号・表示装置。
  3. 【請求項3】 デコード情報記憶手段は、デコード情報
    読み取り手段から受け取った情報より算出したデコード
    開始ストリーム位置及びデコード開始フレーム番号並び
    に再生区間記憶手段から受け取った再生開始及び終了フ
    レーム番号をデコード情報として記憶することを特徴と
    する請求項1記載の圧縮動画像復号・表示装置。
  4. 【請求項4】 ストリーム中にフレーム内予測符号化デ
    ータを含み、ランダムアクセスのためのコードが挿入し
    てあるフレーム間予測符号化圧縮動画像ストリームをス
    トリーム先頭から解析し、ランダムアクセスの基準とな
    るコードとストリーム中に含まれるフレームを検出する
    コード検出手段と、前記ストリーム先頭からランダムア
    クセスの基準となるコードまでの総フレーム数を求める
    フレーム数算出手段と、前記コード検出手段及び前記フ
    レーム数算出手段の出力を利用して、ストリーム情報を
    記載したヘッダを作成するヘッダ情報作成手段と、前記
    コード検出手段及び前記フレーム数算出手段の出力を利
    用して、ストリーム先頭から各ランダムアクセスの基準
    となるコードまでのオフセットバイト数およびそのコー
    ド直前までの累積フレーム数をまとめたテーブルを作成
    し、これに前記ヘッダ情報作成手段で作成したヘッダを
    付加し、ファイルとして出力するテーブル作成手段を具
    備する請求項1記載の圧縮動画像復号・表示装置。
  5. 【請求項5】 動画像符号化方式の国際標準であるMP
    EGにより圧縮されたMPEGビデオストリームをスト
    リーム先頭からコード解析していき、所望のスタートコ
    ードを検出し、そのコードのストリーム中の位置を記憶
    するコード検出手段と、前記ストリーム先頭からGOP
    コード直前までのフレーム数を算出するフレーム数算出
    手段と、前記コード検出部においてランダムアクセスの
    基準となるGOPコードが検出されたらストリームの先
    頭からGOPコードまでのオフセットバイト数及びGO
    Pまでの累積フレーム数をまとめたものをレコードとし
    て記録し、ストリームの最後に達したら、各GOPにつ
    いて作成したレコードをまとめたテーブルを作成し、こ
    れをファイルとして出力するテーブル作成手段とを具備
    する頭出し再生用テーブルファイル作成部を内部に持つ
    ことを特徴とする請求項1記載の圧縮動画像復号・表示
    装置。
  6. 【請求項6】 再生開始及び終了ビデオフレーム番号を
    記憶するビデオ再生区間記憶手段と、再生開始及び終了
    オーディオフレーム番号を記憶するオーディオ再生区間
    記憶手段と、予め作成してあるMPEGシステムストリ
    ーム対応頭出し再生用テーブルを読み込み、ビデオフレ
    ーム又はオーディオフレームを基準とした頭出し再生命
    令に応じて頭出し再生に必要な情報を読み出し、これを
    出力するデコード情報読み取り手段と、前記再生区間記
    憶手段及び前記デコード情報読み取り手段の出力とをま
    とめ、これを記憶するデコード情報記憶手段と、前記デ
    コード情報記憶手段に記憶されているデコード情報に基
    づいて圧縮動画像ストリームをシークし、ストリームか
    ら読み取ったパックヘッダ情報を同期手段に出力した後
    に、システム分離したビデオ・オーディオパケットを順
    次送出するストリーム送出手段と、前記ストリーム送出
    手段から受け取ったビデオストリームを復号し、再生開
    始フレーム番号に達したら映像表示を開始し、さらに、
    再生終了フレームに達したら復号・映像表示を終了する
    機能、および、再生開始・終了が同じ値の場合はフレー
    ム静止画像出力する機能を持つビデオ復号手段と、前記
    ストリーム送出手段から受け取ったオーディオストリー
    ムを解析し、デコード開始フレームに達したら、オーデ
    ィオ再生を開始し、さらに、再生終了フレームに達した
    らデコードを終了するオーディオ復号手段と、前記デコ
    ード情報記憶手段に記憶されている情報を基にして、ビ
    デオ・オーディオ再生の同期をとる同期再生手段を具備
    する圧縮動画像復号・表示装置。
  7. 【請求項7】 頭出し再生用テーブルが、MPEGシス
    テムストリーム中のGOPコードを含むビデオパケット
    に関して、ストリーム先頭からGOPコードまでの累積
    フレーム数、前記ストリームの先頭からそのパケットを
    含むパックヘッダコードまでの絶対オフセットバイト数
    及び前記パックヘッダコードからパケットヘッダコード
    までの相対オフセットバイト数の3種類のデータをまと
    めたレコードが記録されたものであることを特徴とする
    請求項6記載の圧縮動画像復号・表示装置。
  8. 【請求項8】 前記頭出し再生用テーブルが、MPEG
    システムストリーム中のGOPコードを含むビデオパケ
    ットに関して、パケット種類識別子、パケット内フレー
    ム数、ストリーム先頭からGOPコードまでの累積フレ
    ーム数、ストリームの先頭からそのパケットを含むパッ
    クヘッダコードまでの絶対オフセットバイト数及びパッ
    クヘッダコードからパケットヘッダコードまでの相対オ
    フセットバイト数の5種類のデータをまとめたレコー
    ド、並びに、すべてのオーディオパケットに関して、パ
    ケット種類識別子、パケット内フレーム数、ストリーム
    先頭からパケット終わりまでの累積フレーム数、ストリ
    ームの先頭からそのパケットを含むパックヘッダコード
    までの絶対オフセットバイト数及びパックヘッダコード
    からパケットヘッダコードまでの相対オフセットバイト
    数の5種類のデータをまとめたレコードが記録されたも
    のである請求項6記載の圧縮動画像復号・表示装置。
  9. 【請求項9】 デコード情報記憶手段は、デコード情報
    読み取り手段から受け取った情報より算出したシステム
    分離開始ストリーム位置、ビデオデコード開始位置及び
    オーディオデコード開始位置、並びに、再生区間記憶手
    段から受け取った再生開始及び終了フレーム番号、並び
    に、ストリーム送出手段がストリーム中から読み取った
    パックヘッダに記録されている情報とをデコード情報と
    して記憶することを特徴とする請求項6、7又は8記載
    の圧縮動画像復号・表示装置。
  10. 【請求項10】 動画像符号化方式の国際標準であるM
    PEGにより圧縮されたMPEGシステムストリームを
    ストリーム先頭からコード解析していき、パックスター
    トコードおよびパケットスタートコードを検出し、前記
    パックスタートコード及びパケットスタートコードのス
    トリーム中の位置を記憶し、システム分離したビデオ・
    オーディオパケットを送出するシステムコード検出手段
    と、前記システムコード検出手段によりビデオパケット
    が検出された場合に、複数パケットに分断されているビ
    デオデータを一本のビデオストリームとみなしてストリ
    ーム解析を行ない、ピクチャコード検出及びGOPコー
    ドを含むパケット検出を行なうビデオパケット解析手段
    と、前記ビデオパケット解析手段で検出されたピクチャ
    コードの数をカウントするビデオフレーム数算出手段
    と、前記ビデオパケット解析手段でGOPコードを含む
    パケットが検出されたら、パケット内に含まれるフレー
    ム数、ストリームの先頭からそのパケットを含むパック
    ヘッダコードまでの絶対オフセットバイト数、パックヘ
    ッダコードからパケットヘッダコードまでの相対オフセ
    ットバイト数、パケット内フレーム数及びGOPコード
    までの累積フレーム数をまとめたものを一つのレコード
    して記憶するビデオ頭出し再生用レコード記憶手段と、
    前記ビデオ頭出し再生用レコード記憶手段から順次出力
    されてくる頭出し再生用レコードをまとめたテーブルを
    作成し、これをファイルとして出力するテーブル作成手
    段を有する頭出し再生用テーブル作成部を内部に持つこ
    とを特徴とする請求項6記載の圧縮動画像復号・表示装
    置。
  11. 【請求項11】 動画像符号化方式の国際標準であるM
    PEGにより圧縮されたMPEGシステムストリームを
    ストリーム先頭からコード解析していき、パックスター
    トコードおよびパケットスタートコードを検出し、前記
    パックスタートコードおよびパケットスタートコードの
    ストリーム中の位置を記憶し、システム分離したビデオ
    ・オーディオパケットを送出するシステムコード検出手
    段と、前記システムコード検出手段によりビデオパケッ
    トが検出された場合に、複数パケットに分断されている
    ビデオデータを一本のビデオストリームとみなしてスト
    リーム解析を行ない、ピクチャコード検出及びGOPコ
    ードを含むパケット検出を行なうビデオパケット解析手
    段と、前ビデオパケット解析手段で検出されたピクチャ
    コードの数をカウントするビデオフレーム数算出手段
    と、前記ビデオパケット解析手段でGOPコードを含む
    パケットが検出されたら、ストリームの先頭からそのパ
    ケットを含むパックヘッダコードまでの絶対オフセット
    バイト数、パックヘッダコードからパケットヘッダコー
    ドまでの相対オフセットバイト数、パケット内フレーム
    数及びGOPコードまでの累積フレーム数をまとめたも
    のを一つのレコードして記憶するビデオ頭出し再生用レ
    コード記憶手段と、前記システムコード検出手段により
    オーディオパケットが検出された場合に、複数パケット
    に分断されているオーディオデータを一本のオーディオ
    ストリームとみなしてストリーム解析を行ない、AAU
    ヘッダコードを検出するオーディオパケット解析手段
    と、前記オーディオパケット解析手段で検出されたAA
    Uをカウントするオーディオフレーム数算出手段と、パ
    ケットヘッダが検出される度に、一つ前のオーディオパ
    ケットに関して、ストリーム先頭からオーディオパケッ
    トを含むパックのパックヘッダコードまでの絶対オフセ
    ットバイト数、パックヘッダコードからパケットヘッダ
    コードまでの相対オフセットバイト数、パケット内AA
    U数及びストリーム先頭からの累積AAU数をまとめた
    ものを一つのレコードして記憶するオーディオ頭出し再
    生用レコード記憶手段と、前記ビデオ頭出し再生用レコ
    ード記憶手段又は前記オーディオ頭出し再生用レコード
    作成手段から順次出力されてくる頭出し再生用レコード
    に、両者を区別するパケット識別子を付加してビデオ・
    オーディオ両用の頭出し再生用テーブルを作成し、これ
    をファイルとして出力するテーブル作成手段を有する頭
    出し再生用テーブル作成部を内部に持つことを特徴とす
    る請求項6記載の圧縮動画像復号・表示装置。
  12. 【請求項12】 頭出し再生用テーブル作成部が、圧縮
    動画像ストリームのタイトル、総フレーム数及び再生時
    間長、デコード時のパラメータ、タイトル静止画像、代
    表静止画像、コメント並びに検索用キーワードの情報
    を、検索時に使用する圧縮動画像ストリーム情報として
    追加することができる可変長領域をヘッダ中に付加する
    ヘッダ作成手段を持つことを特徴とする請求項10又は
    請求項11記載の圧縮動画像復号・表示装置。
  13. 【請求項13】 圧縮動画像ストリーム中の各シーンの
    開始・終了フレームのフレーム番号が記録してある所定
    フォーマットのシーンチェンジ検出結果ファイルを読み
    取り、フレーム静止画像復号命令を出力するシーンチェ
    ンジ情報記憶手段と、復号した静止画像を縮小又は圧縮
    して一時的に記憶し、これを順次出力するフレーム静止
    画像記憶手段と、各シーンのシーン開始・終了フレーム
    番号、シーン数及び画像サイズの情報が記載されている
    可変長ヘッダを作成するヘッダ作成手段と、ヘッダ作成
    手段及びフレーム静止画像記憶手段の出力をまとめ、イ
    ンデクス画像ファイルを作成するファイル作成手段を具
    備する請求項1ないし請求項12のいずれかに記載の圧
    縮動画像復号・表示装置。
  14. 【請求項14】 圧縮動画像ストリーム中から抽出した
    静止画像及びその静止画のフレーム番号をまとめたイン
    デクス画像ファイルを読み込み、インデクス画像を一覧
    表示するインデクス画像一覧表示手段と、一覧表示され
    ているインデクス画像群の中から任意に選択されたイン
    デクス画像に対応する再生区間を決定する再生区間決定
    手段とを具備する請求項1ないし請求項13のいずれか
    に記載の圧縮動画像復号・表示装置。
  15. 【請求項15】 圧縮動画像ストリーム中の各シーンの
    開始・終了フレームのフレーム番号が記録してある所定
    フォーマットのシーンチェンジ検出結果ファイルを読み
    取り、フレーム静止画表示命令もしくは、動画再生命令
    を出力するシーンチェンジ情報記憶手段と、頭出し再生
    可能圧縮動画像復号・表示手段から順次出力されてくる
    静止画像を縮小して、これを一覧表示するインデクス画
    像一覧表示手段と、一覧表示されているインデクス画像
    群の中から任意に選択されたインデクス画像に対応する
    再生区間を、シーンチェンジ情報を参照して決定する再
    生区間決定手段と、動画像区間再生命令とフレーム静止
    画表示命令を判別し、表示内容を制御する表示内容制御
    手段とを具備する請求項1ないし請求項12のいずれか
    に記載の圧縮動画像復号・表示装置。
  16. 【請求項16】 圧縮動画像ストリームのコマ送り再生
    機能を持つ圧縮動画像復号・表示手段と、 一覧表示されているインデクス画像中の任意指定された
    一枚のインデクス画像に対応したシーン中に含まれる全
    フレーム画像又はその連続した一部分を、圧縮動画スト
    リームをデコードしながら、等間隔に間引き、縮小して
    一覧表示する詳細フレーム画像一覧表示手段を有し、一
    覧表示されているインデクス画像中の任意指定インデク
    ス画像からの通常動画再生、コマ送り動画再生機能、お
    よび、詳細フレーム画像一覧表示機能を利用してインデ
    クス画像として表示されていないフレーム画像を選択
    し、そのフレーム画像を先に指定されているインデクス
    画像と置き換えたり、新たなインデクス画像として追加
    することや、一覧表示されているインデクス画像中の任
    意指定インデクス画像を削除できるインデクス画像修正
    手段と、インデクス画像修正に応じてインデクス画像フ
    ァイルを再編集することができるインデクス画像ファイ
    ル編集手段、もしくは、インデクス画像修正に応じてシ
    ーンチェンジ検出結果ファイルを再編集できるシーンチ
    ェンジ検出結果ファイル編集手段を有する、自動シーン
    チェンジ検出におけるシーンチェンジ検出漏れ・過剰検
    出を補い、意味的・内容的に連続した複数のシーンを統
    合するためのインデクス画像のマニュアル修正が可能
    で、これにより閲覧・検索者等のエンドユーザにとって
    適切なインデクスを提供できることを特徴とする圧縮動
    画像ストリームのコマ送り再生機能を持つ請求項14又
    は請求項15記載の圧縮動画像簡易編集装置。
  17. 【請求項17】 インデクス画像ファイル又はシーンチ
    ェンジ検出結果ファイル中の各シーンに対応させて、可
    変長のシーン検索用キーワード登録領域を付加するシー
    ン検索用キーワード登録手段を具備する請求項16記載
    の圧縮動画像簡易編集装置。
  18. 【請求項18】 一覧表示されているインデクス画像群
    から選択された連続している複数のインデクス画像を一
    つの動画像再生区間として記憶し、複数個設定された動
    画像再生区間の再生順序を定め、各動画像再生区間を一
    つのシーンとみなし、シーンの先頭フレーム番号および
    最終フレーム番号を抽出し、これを再生順序に基づいて
    整列して簡易編集情報とする簡易編集手段を具備する請
    求項16又は請求項17記載の圧縮動画像簡易編集装
    置。
  19. 【請求項19】 複数個の圧縮動画像ストリームのイン
    デクス画像の一覧表示が可能で、一覧表示されているイ
    ンデクス画像群から選択された連続している複数のイン
    デクス画像を一つの動画像再生区間として記憶し、複数
    個設定された動画像再生区間の再生順序を定め、各動画
    像再生区間を一つのシーンとみなして、このシーンに対
    応した圧縮動画像ストリームファイル名とシーンの先頭
    ・最終フレーム番号を抽出し、これを再生順序に基づい
    て整列したものを簡易編集情報とする簡易編集手段を具
    備する請求項16又は請求項17記載の圧縮動画像簡易
    編集装置。
  20. 【請求項20】 簡易編集手段が、動画像ファイル名及
    び再生開始・終了フレーム番号に対応させて、可変長の
    シーン検索用キーワード領域を付加した簡易編集情報を
    作成できる機能を持つことを特徴とする請求項18又は
    請求項19記載の圧縮動画像簡易編集装置。
  21. 【請求項21】 請求項18から請求項20のいずれか
    に記載の圧縮動画像簡易編集装置で作成された簡易編集
    情報ファイルを読み込み、これを記憶する簡易編集情報
    記憶手段と、圧縮動動画像ストリーム及びその付属ファ
    イルを管理し、前記簡易編集情報記憶手段に記憶されて
    いる簡易編集情報に基づいて頭出し再生用テーブルファ
    イル及び圧縮動画像ストリームを選択するファイル管理
    手段と、前記簡易編集情報記憶手段から出力される再生
    区間に従って復号制御を行なう復号制御手段とを具備す
    る請求項1ないし請求項15のいずれかに記載の圧縮動
    画像復号・表示装置。
  22. 【請求項22】 簡易編集情報記憶手段に記憶されてい
    る簡易編集情報に記録されている各シーンの先頭フレー
    ムの静止画像を一覧表示するインデクス画像一覧表示手
    段と、一覧表示されているインデクス画像中から選択さ
    れたフレーム画像に対応した圧縮動画像ファイル名及び
    再生区間を決定する再生区間決定手段を具備する請求項
    21記載の圧縮動画像復号・表示装置。
  23. 【請求項23】 簡易編集情報に記録されている各シー
    ンの先頭フレーム静止画像を縮小もしくは圧縮して一つ
    のファイルにまとめ、ヘッダとして簡易編集情報を付加
    したファイルを作成する簡易編集情報付きインデクス画
    像ファイル作成手段を具備する請求項18ないし請求項
    20のいずれかに記載の圧縮動画像簡易編集装置。
  24. 【請求項24】 請求項23記載の圧縮動画像簡易編集
    装置で作成された簡易編集情報付きインデクス画像ファ
    イルの簡易編集情報を読み込み、これを記憶する簡易編
    集情報記憶手段と、簡易編集情報付きインデクス画像フ
    ァイルのインデクス画像を一覧表示するインデクス画像
    一覧表示手段と、一覧表示されているインデクス画像中
    から選択されたフレーム画像に対応した圧縮動画像ファ
    イル名及び再生区間を決定する再生区間決定手段を具備
    する請求項1ないし請求項15のいずれかに記載の圧縮
    動画像復号・表示装置。
  25. 【請求項25】 請求項21又は請求項24記載の圧縮
    動画像復号・表示装置と同等の機能の圧縮動画像復号・
    表示手段を具備するする請求項19又は請求項23に記
    載の圧縮動画像簡易編集装置。
  26. 【請求項26】 圧縮動画像ストリーム並びにシーンチ
    ェンジ検出結果ファイル、インデクス画像ファイル、頭
    出し再生用テーブルファイル及び簡易編集情報ファイル
    等の付属ファイルを管理するファイル管理手段と、前記
    ファイル管理手段で管理されている全圧縮動画像ストリ
    ームの全キーワードを一括管理するキーワード管理手段
    と、所定ファイル中に付加されているキーワードを参照
    して、圧縮動画像ストリーム検索又は圧縮動画像内シー
    ン検索を行なう検索手段と、検索結果であるファイル名
    及びフレーム番号等のテキスト情報と、インデクス画像
    等の静止画情報を表示する検索結果表示手段を具備する
    請求項21記載又は請求項24記載の圧縮動画像復号・
    表示装置。
  27. 【請求項27】 圧縮動画像ストリームファイル並びに
    シーンチェンジ検出結果ファイル、インデクス画像ファ
    イル、頭出し再生用テーブルファイル及び簡易編集情報
    ファイル等の付属ファイルを管理するファイル管理手段
    と、クライアントからの要求に従って検索を行なうキー
    ワード検索手段と、クライアントからの要求に応じてフ
    ァイル、ストリーム又はストリームの一部を送信する通
    信制御手段を有するサーバ装置と、前記サーバ装置に検
    索・データ転送要求を送信する命令送信制御手段と、検
    索・閲覧者が要求した動画像情報を再生するために必要
    なデータを受信する通信制御手段と、受信したデータを
    復号し画像を再生する圧縮動画像復号・再生手段とを有
    するクライアント装置が、通信回線で接続されている請
    求項1ないし請求項15までのいずれか又は請求項26
    に記載の圧縮動画像復号・表示装置。
JP29804895A 1995-11-16 1995-11-16 圧縮動画像復号・表示装置および圧縮動画像簡易編集装置 Expired - Lifetime JP3060919B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29804895A JP3060919B2 (ja) 1995-11-16 1995-11-16 圧縮動画像復号・表示装置および圧縮動画像簡易編集装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29804895A JP3060919B2 (ja) 1995-11-16 1995-11-16 圧縮動画像復号・表示装置および圧縮動画像簡易編集装置

Publications (2)

Publication Number Publication Date
JPH09139915A true JPH09139915A (ja) 1997-05-27
JP3060919B2 JP3060919B2 (ja) 2000-07-10

Family

ID=17854463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29804895A Expired - Lifetime JP3060919B2 (ja) 1995-11-16 1995-11-16 圧縮動画像復号・表示装置および圧縮動画像簡易編集装置

Country Status (1)

Country Link
JP (1) JP3060919B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999038326A1 (en) * 1998-01-23 1999-07-29 Matsushita Electric Industrial Co., Ltd. Image transmitting method, image processing method, image processor, data storage medium
JP2002271767A (ja) * 2001-03-13 2002-09-20 Mitsui Eng & Shipbuild Co Ltd 映像配信方法及び映像配信システム
US6701061B2 (en) 1999-11-18 2004-03-02 Fujitsu Limited Endless video recording apparatus
WO2005122570A1 (ja) * 2004-06-11 2005-12-22 Sony Corporation データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、データ記録媒体並びにデータ構造
US7024100B1 (en) 1999-03-26 2006-04-04 Matsushita Electric Industrial Co., Ltd. Video storage and retrieval apparatus
JP2008124931A (ja) * 2006-11-14 2008-05-29 Sakura Eiki Kk データ変換装置、データ変換プログラムおよびデータ変換方法、ならびに、データ復号装置
JP2008165850A (ja) * 2006-12-27 2008-07-17 Hitachi Ltd 記録方法
JP2009163391A (ja) * 2007-12-28 2009-07-23 Noritsu Koki Co Ltd ビューアーソフトウエアプログラムおよびビューアー装置
US7778518B2 (en) 1999-09-29 2010-08-17 Sony Corporation Transport stream recording apparatus and method, transport stream reproducing apparatus and method, and program recording medium
JP2013502836A (ja) * 2009-08-18 2013-01-24 ネットフリックス・インコーポレイテッド 適応ビデオストリーミングのためのビデオストリームのエンコーディング
JP2013225869A (ja) * 1998-09-17 2013-10-31 United Video Properties Inc デジタル格納部を備えた電子番組ガイド
US8606078B2 (en) 2006-12-27 2013-12-10 Hitachi Consumer Electronics Co., Ltd. Data recording method
US9021538B2 (en) 1998-07-14 2015-04-28 Rovi Guides, Inc. Client-server based interactive guide with server recording
US9071872B2 (en) 2003-01-30 2015-06-30 Rovi Guides, Inc. Interactive television systems with digital video recording and adjustable reminders
US9125169B2 (en) 2011-12-23 2015-09-01 Rovi Guides, Inc. Methods and systems for performing actions based on location-based rules
JP2019185726A (ja) * 2018-10-25 2019-10-24 株式会社ミルプラトー 動画閲覧装置、動画閲覧装置の制御方法、およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100484229C (zh) 2002-04-26 2009-04-29 松下电器产业株式会社 逆多路复用装置及多路复用装置

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400889B1 (en) 1998-01-23 2002-06-04 Matsushita Electric Industrial Co., Ltd. Image processing method for decoding compressed image data
US6418268B1 (en) 1998-01-23 2002-07-09 Matsushita Electric Industrial Co., Ltd. Image processing method for decoding compressed image data
EP1119199A3 (en) * 1998-01-23 2002-07-24 Matsushita Electric Industrial Co., Ltd. Image transmitting method, image processing method, image processor, and data storage medium
US6449424B1 (en) 1998-01-23 2002-09-10 Matsushita Electric Industrial Co., Ltd. Image transmission method and computer readable image data structure
WO1999038326A1 (en) * 1998-01-23 1999-07-29 Matsushita Electric Industrial Co., Ltd. Image transmitting method, image processing method, image processor, data storage medium
US7155110B2 (en) 1998-01-23 2006-12-26 Matsushita Electric Industrial Co., Ltd. Image transmission method
US9118948B2 (en) 1998-07-14 2015-08-25 Rovi Guides, Inc. Client-server based interactive guide with server recording
US10075746B2 (en) 1998-07-14 2018-09-11 Rovi Guides, Inc. Client-server based interactive television guide with server recording
US9021538B2 (en) 1998-07-14 2015-04-28 Rovi Guides, Inc. Client-server based interactive guide with server recording
US9232254B2 (en) 1998-07-14 2016-01-05 Rovi Guides, Inc. Client-server based interactive television guide with server recording
US9154843B2 (en) 1998-07-14 2015-10-06 Rovi Guides, Inc. Client-server based interactive guide with server recording
US9106947B2 (en) 1998-09-17 2015-08-11 Rovi Guides, Inc. Electronic program guide with digital storage
US8843960B2 (en) 1998-09-17 2014-09-23 United Video Properties, Inc. Electronic program guide with digital storage
US9100686B2 (en) 1998-09-17 2015-08-04 Rovi Guides, Inc. Electronic program guide with digital storage
JP2013225869A (ja) * 1998-09-17 2013-10-31 United Video Properties Inc デジタル格納部を備えた電子番組ガイド
US8898721B2 (en) 1998-09-17 2014-11-25 United Video Properties, Inc. Electronic program guide with digital storage
US7024100B1 (en) 1999-03-26 2006-04-04 Matsushita Electric Industrial Co., Ltd. Video storage and retrieval apparatus
US7778518B2 (en) 1999-09-29 2010-08-17 Sony Corporation Transport stream recording apparatus and method, transport stream reproducing apparatus and method, and program recording medium
US6701061B2 (en) 1999-11-18 2004-03-02 Fujitsu Limited Endless video recording apparatus
JP4554104B2 (ja) * 2001-03-13 2010-09-29 三井造船株式会社 映像配信方法及び映像配信システム
JP2002271767A (ja) * 2001-03-13 2002-09-20 Mitsui Eng & Shipbuild Co Ltd 映像配信方法及び映像配信システム
US9071872B2 (en) 2003-01-30 2015-06-30 Rovi Guides, Inc. Interactive television systems with digital video recording and adjustable reminders
US8213781B2 (en) 2004-06-11 2012-07-03 Sony Corporation Data processing device, data processing method, program, program recording medium, data recording medium, and data structure
WO2005122570A1 (ja) * 2004-06-11 2005-12-22 Sony Corporation データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、データ記録媒体並びにデータ構造
JP2008124931A (ja) * 2006-11-14 2008-05-29 Sakura Eiki Kk データ変換装置、データ変換プログラムおよびデータ変換方法、ならびに、データ復号装置
US8606078B2 (en) 2006-12-27 2013-12-10 Hitachi Consumer Electronics Co., Ltd. Data recording method
JP2008165850A (ja) * 2006-12-27 2008-07-17 Hitachi Ltd 記録方法
JP2009163391A (ja) * 2007-12-28 2009-07-23 Noritsu Koki Co Ltd ビューアーソフトウエアプログラムおよびビューアー装置
JP2013502836A (ja) * 2009-08-18 2013-01-24 ネットフリックス・インコーポレイテッド 適応ビデオストリーミングのためのビデオストリームのエンコーディング
US9125169B2 (en) 2011-12-23 2015-09-01 Rovi Guides, Inc. Methods and systems for performing actions based on location-based rules
JP2019185726A (ja) * 2018-10-25 2019-10-24 株式会社ミルプラトー 動画閲覧装置、動画閲覧装置の制御方法、およびプログラム

Also Published As

Publication number Publication date
JP3060919B2 (ja) 2000-07-10

Similar Documents

Publication Publication Date Title
JP3060919B2 (ja) 圧縮動画像復号・表示装置および圧縮動画像簡易編集装置
JPH1066008A (ja) 動画像検索編集装置
JP4022818B2 (ja) データ記録装置および方法、データ記録媒体、データ再生装置および方法、データ編集装置および方法、プログラム格納媒体、並びにプログラム
DE69911551T2 (de) Medium zur Aufnahme von Informationen, Vorrichtung und Verfahren zur Datenaufnahme oder -wiedergabe von diesem
US20080104123A1 (en) Data structure of metadata and reproduction method of the same
US20020133486A1 (en) Video retrieval and browsing apparatus, video retrieval, browsing and editing apparatus, and recording medium
US7502799B2 (en) Structure of metadata and reproduction apparatus and method of the same
JP4807250B2 (ja) 記録方法
JP2002281433A (ja) 動画像検索閲覧編集装置および記録媒体
CN100562938C (zh) 信息处理设备和方法
US7555494B2 (en) Reproducing a moving image in a media stream
JP2004127399A (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
KR20020074328A (ko) 키프레임을 이용한 동영상 재생방법 및 그 장치
US7433574B2 (en) Audio-video stream data recording, replaying, and editing system
US20060080337A1 (en) Data structure of metadata, reproduction apparatus of the metadata and reproduction method of the same
US20060050055A1 (en) Structure of metadata and processing method of the metadata
JP5034608B2 (ja) 記録方法
KR100960766B1 (ko) 기록 방법 및 기록 장치
US20080138037A1 (en) Recording method
JP4145103B2 (ja) 動画データの再生方法及び再生装置
JP4104071B2 (ja) 動画像検索編集装置
JP4946426B2 (ja) 記録方法
JP4225512B2 (ja) 動画像検索編集装置
JP4784548B2 (ja) 記録方法
JP4279600B2 (ja) 動画像検索編集装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080428

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 14

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term